Re: [問題] 應用迴圈於資料處理的效率

看板R_Language作者celestialgod (攸藍)時間10年前 (2015/08/04 19:53)推噓0(0推 0噓 0→)

留言0則, 0人參與討論串2/5 (看更多)

※ 引述《missingmini (just missing)》之銘言： : [程式範例]: : 我有一個很大的 data.table 物件，名稱為 tbl_left，是由 fread 讀入文字檔案 : 建立的，大小為 1821350 x 24。這 24 欄裡面其中一個叫做 ID，其型態為 character。 : 另有一個較小的 data.table，名稱為 tbl_right，也是由 fread 建立的，大小為 : 1289 x 24。這 24 欄裡面也有一個叫做 ID，型態也是 character。 : 現在我執行 tbl_joined <- dplyr:::left_join(tbl_left, tbl_right, by = "ID") : 產生一個新的物件 tbl_joined，發現它有 1821479 列，比原來 tbl_left 的 1821350 : 還多了 129 列。研究了一下，發現是因為 tbl_right 裡面有些列的 ID 欄位有重覆的， : 所以 join 到 tbl_left 之後，會有多出來的列。 : 為了找出究竟是哪些重覆的 ID 造成此結果，我做的步驟如下： : [1] 首先，用 distinct(select(tbl_right, ID)) 得到的結果有 1159 列，得知有 : 1289 - 1159 = 130 列是重覆的 : [2] 用以下程式 : right_ID <- select(tbl_right, ID) : right_ID_sorted <- sort(right_ID$ID) : right_ID_dup = rep(" ", 130) # create a character vector of length 130 : j = 1 : for (i in 1:(length(right_ID_sorted)-1)) { : if (right_ID_sorted[i] == right_ID_sorted[i+1]) { : right_ID_dup[j] <- right_ID_sorted[i]; j <- j+1 : } : } : 如此得到的 right_ID_dup 就是所有在 tbl_right 中有重覆的 ID 值 : [3] 再來要找出 right_ID_dup 裡面，又有哪些值同時存在 tbl_left$ID : (所以才會被 join 進來)，用以下程式 : for (tgt_ID in right_ID_dup) { : for (j in 1:length(tbl_left$ID)) { : if (tgt_ID == tbl_left[j]$ID) cat(tgt_ID, "\n") : } : } : 結果這程式跑得非常的慢！跑了兩個小時只印出兩個值，於是放棄此方法。 : 上網搜尋，得到以下解法： : tst <- c(unique(tbl_left$ID), unique(right_ID_dup)) : comm_ID <- tst[duplicated(tst)] : 此法很快就得出結果，comm_ID 長度為 87，所以現在知道有 87 個 ID 值， : 是同時存在 tbl_left 與 tbl_right 的。 : [4] 最後，要找出這 87 個 ID 值，總共在 tbl_right 中出現了幾次，寫了以下程式 : occur_total <- 0 : for (elem in comm_ID) { : occur <- 0 : for (j in 1:length(tbl_right$ID)) { : if (elem == tbl_right[j]$ID) occur <- occur + 1 : } : occur_total <- occur_total + occur : } : cat("Total: ", occur_total, "\n") : 結果印出 Total: 216 : 所以總共的重覆次數為 216 - 87 = 129。可以解釋為何經過 join 之後，結果比 : 原來的 tbl_left 多了 129 列。 : 但是。。。這個程式跑得也有點慢，大概近 5 分鐘才跑完。我想原因跟 [3] 的程式 : 是相同的，亦即是 : ==> R 的迴圈就是很慢！ : 因此我的問題如下： : (1) R 的迴圈為何可以慢成這樣? 我知道有研究過底層的高手理解來龍去脈，但對於 : 新手而言，有沒有什麼簡單的說法可以 give some insight? : (2) [4] 的程式有什麼替代解法可以跑得比較快的? : (3) [2] 的程式雖然不慢，但我相信高手可以提出更快更適合 R 的寫法我不知道怎麼跟你解釋R的迴圈很慢可是有時候迴圈還是很快的 (看前幾篇更改矩陣的值就快很多) 而且，R有很多方法可以避免迴圈，想辦法用vectorise的方法去做才會快這個法門只能多認識一些R的基礎函數看你的寫法大概不知道 %in%, match，所以才會逐個元素做比較先從學習這兩個函數，把迴圈改回一層開始吧下面是用較快的程式 (其實善用duplicated就可以解決這些問題) ([2]~[4]全部都改寫到我電腦(cpu:B970)不用1秒就跑出結果了...) 程式：http://pastebin.com/36PheyGS '%>%'跟duplicated的用法可以往前看我撰寫的相關文章 (duplicated在base跟data.table都有，我這裡都用data.table的method) -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 123.205.27.107 ※ 文章網址: https://www.ptt.cc/bbs/R_Language/M.1438689234.A.10D.html ※ 編輯: celestialgod (123.205.27.107), 08/04/2015 20:08:48