[討論] R平行運算 Rmpi安裝(Mac/Ubuntu/CentOS)

看板R_Language作者JackBaska (Baska)時間9年前 (2016/05/01 12:59)推噓1(1推 0噓 11→)

留言12則, 3人參與討論串1/2 (看更多)

- 討論: 當你自己已經有答案，但是也想聽聽版友意見時 [問題類型]: 效能諮詢(我想讓R 跑更快) [軟體熟悉度]: 使用者(已經有用R 做過不少作品) [問題敘述]: 各位 R 領域專業的大大們好 , 小弟最近想開始用R的平行計算功能已經拜讀過 Wush大的平行計算筆記 , 也照一些原文網站內容用Terminal 安裝好 OpenMP 跟用R 處理好 Rmpi了 , 也成功repeat 一些平行的小範例不過我我要做的運算主要會用到一些 Machine Learning的套件,但我在試跑時會遇到一些問題像是 , 開始跑之後表示沒有該套件的方法,我後來是在裡面直接做套件 require處理 , 但還是會有一些載入資料,還有相關引數的問題想詢問各位是否知道什麼資源可以學R的平行的一些訊息 , 因為我的運算只有特定段落有需要平行 , 所以我希望能熟悉 R 的平行,像是我要把工作分給 Slave 時, 讓他們可以完全接收原本 R kernel已載入的一些資訊,並把套件跟需求物件正確的傳給所有 Slave 另外如果有詳細 R 怎麼做資源分配的資訊也麻煩各位指點了 , 因為目前這幾個parallel 的範例我都還沒看到資源分配相關的資訊 , 有點疑惑以上主要是針對 CPU 平行問的 , 手邊也有GPU Cluster , 如果有人有推薦的GPU 在 R 的應用 , 也感激不盡 , 不過對CUDA還不熟 ,所以先不打算用CPU的部分另外想問一下有沒有人知道 OpenMP 還有 Rmpi得設置要怎麼只建置在特定User下面 , 由於手邊的Cluster 有部分沒有 Root , 所以在管理員有空前我可能得自己處理 , 以前裝package是用只建置在User 底下的方式 , 但mpi 還有 Rmpi有部分步驟要用command line裝,我安裝時一直被擋掉說我權限不足 [你的答案]: 有想到幾種載入方式還在試 , 但相對還不是我想要的型式 , 覺得另外自己加入載入段落不見得是好的 , 想了解要怎麼用 R 正確且有效率的做這件事另外小弟現在是先用筆電做小資料集的小規模計算測試 , 等大致熟練才會搬到cluter上面小弟是平行菜鳥 , 還請大家多多指教 [關鍵字]: R 平行運算 Master Slave / Head Node Cluster Parallel Computing by CPU -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.240.197.83 ※ 文章網址: https://www.ptt.cc/bbs/R_Language/M.1462078782.A.D91.html ※ 編輯: JackBaska (111.240.197.83), 05/01/2016 13:21:00 ※ 編輯: JackBaska (111.240.197.83), 05/01/2016 13:22:12