PTT數位生活區 / R_Language

[分享] 在雲端運算環境使用R和MPI

看板R_Language作者 (拒看低質媒體)時間11年前 (2013/09/26 22:04), 編輯推噓5(5推 0噓 8→)
留言13則, 6人參與, 最新討論串1/1
[關鍵字]: R, MPI, pbdMPI, Cloud Computing [出處]: http://0rz.tw/HSFb3 [重點摘要]: 好讀版：http://rpubs.com/wush978/R-mpi-cloud 快速設定的參考影片：http://www.youtube.com/watch?v=m1vtPESsFqM
處理沒有非常非常大的資料，其實不用用到Hadoop。 我們可以在雲端運算環境快速部署MPI環境後，以優於Hadoop的效能做分析。 這篇文章詳細的示範如何在AWS上設定一個MPI的運算環境， 並且用R和pbdMPI來演示一個數分鐘內計算一億多筆資料的Logistic Regression。 大家有問題歡迎來信或水球詢問或討論。 -- 歡迎到ptt R_Language版分享R 的相關知識 歡迎加入 Taiwan R User Group : http://www.facebook.com/Tw.R.User 聚會報名 http://www.meetup.com/Taiwan-R/ 聚會影片 https://www.youtube.com/user/TWuseRGroup -- ※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 1.34.138.85
推
09/27 13:49, , 1F
好威阿!
09/27 13:49, 1F
推
09/27 19:20, , 2F
推~能有Windows 平台的設定介紹嗎XD
09/27 19:20, 2F
推
09/28 11:22, , 3F
感謝分享！
09/28 11:22, 3F
推
09/28 20:06, , 4F
Well done.
09/28 20:06, 4F
→
09/28 20:24, , 5F
你可以用allreduce(w),這樣就不用 bcast 在 reduce 了.
09/28 20:24, 5F
→
09/28 20:25, , 6F
可不用if(comm.rank()==0) else ...
09/28 20:25, 6F
→
09/28 20:26, , 7F
allreduce的 cost 和 reduce 是一樣的.
09/28 20:26, 7F
→
09/28 20:26, , 8F
還省下bcast和if esle 的時間.
09/28 20:26, 8F
→
09/28 20:27, , 9F
假設沒看錯algorithm的話
09/28 20:27, 9F
→
09/28 21:03, , 10F
n<-ifelse(comm.rank()==0,nrow(iris),0)
09/28 21:03, 10F
→
09/28 21:04, , 11F
n<-allreduce(n)
09/28 21:04, 11F
→
09/28 21:25, , 12F
謝謝建議，我再研究研究
09/28 21:25, 12F
推
09/30 12:22, , 13F
感謝分享.
09/30 12:22, 13F
‣ 更多 Wush978 的文章
文章代碼(AID): #1IH3xPe5 (R_Language)
R_Language 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 Wush978 的文章
文章代碼(AID): #1IH3xPe5 (R_Language)