Re: [問題] 矩陣的處理...拜求各位大大

看板R_Language作者celestialgod (天)時間8年前 (2017/08/27 17:43)推噓6(6推 0噓 9→)

留言15則, 3人參與討論串3/5 (看更多)

※ 引述《s3714443 (metalheads)》之銘言： : http://imgur.com/a/1s7Is : 資料大概是長這樣 : 我想要處理的是： : 像第八行就有兩個非0的數字 : 那我就是取最左的那排 26.57這個數字 : 倒數第二排有26.43跟26.57這兩個數字 : 那就是取最左邊的26.43 : 反正就是特定欄之中先看有沒有非0的數字，有就取最左的，沒有就取0 : 然後就是mutate出來新的一行 : 我想不到除了sapply之外的辦法了 : 但是我的資料有500多萬筆 : sapply可能會跑到電腦燒掉ＸＤ : 感恩各位 # 資料生成 n <- 5e5 + 12 m <- 8 r <- 2 X <- matrix(0, n, m) for (i in seq(1, n - 5, by = m-r)) X[cbind(i:(i+7), m:1)] <- rnorm(1) X[cbind((n-1):n, 8:7)] <- rnorm(1) # 隨機抽10000列讓整列變成0 zeroLocIdx <- sample(n, 10000) X[zeroLocIdx, ] <- 0 # 程式開始 st <- proc.time() # 取出全部不等於0的位置，並以matrix矩陣表示 row跟column位置 (arr.ind) tmp <- which(X != 0, arr.ind = TRUE) # 對每一個row取最小的column index out <- tapply(tmp[ ,2], tmp[ ,1], min) # 組出位置矩陣 locMat <- cbind(row = as.integer(names(out)) , col = out) # 處理非0部分 zeroLocIdx2 <- setdiff(1:nrow(X), locMat[ , 1]) if (length(zeroLocIdx2) > 0) locMat <- rbind(locMat, cbind(zeroLocIdx2, 1)) # 排序 locMat <- locMat[order(locMat[ , 1]), ] # 取出值 out <- X[locMat] proc.time() - st # user system elapsed # 1.05 0.03 1.10 驗證結果：http://imgur.com/QMpBoGh

驗證0位置： all(zeroLocIdx2 == sort(zeroLocIdx)) # TRUE 搭配data.table的做法如下： library(data.table) # 轉成data.table DT <- data.table(X) # 假設有其他欄位 DT[ , `:=`(V9 = sample(1:5, nrow(DT), TRUE), V10 = sample(LETTERS, nrow(DT), TRUE))] # 把上面的程式直接抓下來用 findValue <- function(X){ tmp <- which(X != 0, arr.ind = TRUE) minColLoc <- tapply(tmp[ ,2], tmp[ ,1], min) locMat <- cbind(row = as.integer(names(minColLoc)) , col = minColLoc) zeroLocIdx2 <- setdiff(1:nrow(X), locMat[ , 1]) if (length(zeroLocIdx2) > 0) locMat <- rbind(locMat, cbind(zeroLocIdx2, 1)) locMat <- locMat[order(locMat[ , 1]), ] X[locMat] } st <- proc.time() # 直接把需要的column抓出來利用do.call + cbind組成矩陣丟進去 DT[ , v := findValue(do.call(cbind, .SD)), .SDcols = V1:V8] proc.time() - st # user system elapsed # 1.04 0.04 1.09 # 驗證結果 head(DT, 40) http://imgur.com/NxjaCaH

-- R資料整理套件系列文： magrittr #1LhSWhpH (R_Language) https://goo.gl/72l1m9 data.table #1LhW7Tvj (R_Language) https://goo.gl/PZa6Ue dplyr(上.下) #1LhpJCfB,#1Lhw8b-s (R_Language) https://goo.gl/I5xX9b tidyr #1Liqls1R (R_Language) https://goo.gl/i7yzAz pipeR #1NXESRm5 (R_Language) https://goo.gl/zRUISx -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 125.224.109.231 ※ 文章網址: https://www.ptt.cc/bbs/R_Language/M.1503827007.A.D2A.html

推

s3714443

08/27 20:49, , 1^F

08/27 20:49, 1^F

→

s3714443

08/27 20:50, , 2^F

08/27 20:50, 2^F

我只用到tapply而已，tapply速度是還算快的XDD

推

s3714443

08/27 21:20, , 3^F

08/27 21:20, 3^F

→

s3714443

08/27 21:20, , 4^F

08/27 21:20, 4^F

應該說group by somethin to do something比較難做vectorization 所以用tapply就變成是不得已去使用的情境但是背後其實也是lapply而已不過這裡是有替代方案，例如先把which出來的row,column排序之後利用rle取出第一個出現該row的位置就好簡單實現的程式如下： X <- matrix(c(0,0,2,0,0,0,2,0,0,0,1,1,3,2,0), 5) locMat <- which(X > 0, arr.ind = TRUE) ## 要的是第1,2,4,6列 # row col # [1,] 1 3 # [2,] 2 2 # [3,] 2 3 # [4,] 3 1 # [5,] 3 3 # [6,] 4 3 ## 利用order把row根col排序 locMat <- locMat[order(locMat[,1], -locMat[,2]), ] # row col # [1,] 1 3 # [2,] 2 3 # [3,] 2 2 # [4,] 3 3 # [5,] 3 1 # [6,] 4 3 locMat[cumsum(rle(locMat[,1])$lengths), ] # row col # [1,] 1 3 # [2,] 2 2 # [3,] 3 1 # [4,] 4 3 ※ 編輯: celestialgod (125.224.109.231), 08/27/2017 21:54:54