Re: [問題] 記憶體不足

看板R_Language作者Wush978 (拒看低質媒體)時間11年前 (2013/06/22 21:39)推噓3(3推 0噓 8→)

留言11則, 5人參與討論串2/7 (看更多)

※ 引述《lianhua (蓮華)》之銘言： : [問題類型]: : 程式諮詢 : [軟體熟悉度]: : 使用者 : [問題敘述]: : 因為我需要跑大量的貝氏模擬，大迴圈次數500次 : 大迴圈裡面的小迴圈20000次 : 每一次小迴圈都需要生成一個5XM (M大概100左右) 的矩陣 : 但是我的電腦大迴圈大概都跑個200次左右就會跳出 : 錯誤: 無法配置大小為 526.2 Mb 的向量 : 這種訊息請問是我的電腦記憶體不足，還是語法太拙劣？理論上演算法需要的記憶體，都是可以事先評估出來的。我先假設你迴圈中生成的矩陣都要保留在記憶體。一個numeric value需要 8 bytes 的記憶體空間，這樣的話，一個小迴圈需要 500 * 8 bytes 的空間，大約 4 kb。一個大迴圈要20000 次小迴圈，所以就是 80000 kb ，大約是 80 mb。 500次大迴圈需要 40000 mb, 大約是 40 Gb 的記憶體。你的電腦有這麼多記憶體嘛？或是你需要保留每次生成的矩陣嘛？有沒有確實清理掉？另外R 在記憶體的使用上還有另外一個問題： (請看下面的說明) : [程式範例]: : 程式很長，所以僅貼部分 : N = 500 : L0 = numeric() : L1 = numeric() : L2 = numeric() : Alpha1 = numeric() : Alpha2 = numeric() : for(k in 1:N){ : set.seed(k) : ． : ． : ． : 這裡是我懷疑出錯的部分，因為如果我不是生成隨機矩陣的話 : 就不會有這個問題 : iter = 20000 : repeat{ : ### step 1 fill up Z ### : g1 = function(x){ : ((l1+l0)*c1*(x^(c1-1)))/((l1+l0)*c1*(x^(c1-1))+l2*c2*(x^(c2-1))) : } : g2 = function(x){ : (l1*c1*(x^(c1-1)))/(l1*c1*(x^(c1-1))+(l2+l0)*c2*(x^(c2-1))) : } : Z1 = matrix(,ncol=2,nrow=length(t1)) : Z2 = matrix(,ncol=2,nrow=length(t2)) : for(i in 1:length(t1)){ : Z1[i,] = rmultinom(1,1,c(g1(t1[i]),(1-g1(t1[i])))) : } : for(i in 1:length(t2)){ : Z2[i,] = rmultinom(1,1,c(g2(t2[i]),(1-g2(t2[i])))) : } : } 使用 Z1[i,] = xxx 這種語法時，R 會複製記憶體，也就是你可能需要Z1兩倍的記憶體，所以如果Z1很大的話，也是會出問題。 : 想請各位先進為我解答，感謝～你可以把你的需求寫的更清楚，這樣我還可以針對你的問題提供建議喔。 -- 歡迎到ptt R_Language版分享R 的相關知識歡迎加入 Taiwan R User Group : http://www.facebook.com/Tw.R.User 聚會報名 http://www.meetup.com/Taiwan-R/ 聚會影片 https://www.youtube.com/user/TWuseRGroup -- ※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 61.224.201.62 ※ 編輯: Wush978 來自: 61.224.201.62 (06/22 21:39)