[分享] R的parallel套件 (snow, foreach)

看板R_Language作者celestialgod (天)時間7年前 (2016/11/26 15:33)推噓11(11推 0噓 12→)

留言23則, 5人參與討論串1/1

[關鍵字]: foreach, snow, snowfall [出處]: http://chingchuan-chen.github.io/posts/2016/11/26/R-parallel-pkgs [重點摘要]: 有些程式不能全部靠RcppParallel加速所以想說只能靠R的一些平行套件來解決但是平行套件其實不少，那哪一個又有比較好的performance? 有興趣可以到出處網址去看 -- R資料整理套件系列文： magrittr #1LhSWhpH (R_Language) https://goo.gl/OBto1x data.table #1LhW7Tvj (R_Language) https://goo.gl/QFtp17 dplyr(上.下) #1LhpJCfB,#1Lhw8b-s (R_Language) https://goo.gl/GcfNoP tidyr #1Liqls1R (R_Language) https://goo.gl/pcq5nq pipeR #1NXESRm5 (R_Language) https://goo.gl/cDIzTh -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.235.43.180 ※ 文章網址: https://www.ptt.cc/bbs/R_Language/M.1480145613.A.F57.html

推

sxskr1001

11/26 21:22, , 1^F

11/26 21:22, 1^F

推

sxskr1001

11/26 21:26, , 2^F

11/26 21:26, 2^F

→

f496328mm

11/26 22:21, , 3^F

11/26 22:21, 3^F

→

f496328mm

11/26 22:22, , 4^F

11/26 22:22, 4^F

推

f496328mm

11/26 22:26, , 5^F

11/26 22:26, 5^F

→

f496328mm

11/26 22:27, , 6^F

11/26 22:27, 6^F

→

f496328mm

11/26 22:28, , 7^F

11/26 22:28, 7^F

dplyr 跟 plyr 要處理的問題不太一樣 dplyr會比較偏重在data.frame上 plyr則是任意資料類型，dplyr也是單線程在做在一些case下，plyr::dlply + rbindlist會比 dplyr, data.table快上不少但是這也是要depends on 資料量至於C++，則是看你有沒有能力刻出演算法而決定如果可以，當然用C++做加速是一個不錯的方案中間還包含你要去學C++語法，使用Rcpp相關套件的時間付出對於有些人來說不是那麼合算下，可以不去考慮有些人可能需要學個半年C++才刻的出比用R還快的演算法來使用，這部分很難講... 所以你如果真的有遇到程式效率問題，就嘗試花時間去碰C++ 看怎麼用C++去解決你的效率問題吧至於multi-core建模，現在h2o滿方便，試試看用那個應該就能解決很多問題了

推

f496328mm

11/26 23:38, , 8^F

11/26 23:38, 8^F

→

f496328mm

11/26 23:38, , 9^F

11/26 23:38, 9^F

推

f496328mm

11/26 23:44, , 10^F

11/26 23:44, 10^F