PTT數位生活區 / R_Language

[問題] 記憶體計算

看板R_Language作者 (小笨)時間9年前 (2016/12/16 14:45), 編輯推噓2(2推 0噓 12→)
留言14則, 5人參與, 最新討論串1/1
Hi 各位好 我目前想要擴增一個data.frame做machine learning 我想要弄進兩千個feature因此想要知道到底會吃多少記憶體 我知道object.size可以知道當前的物件吃多少記憶體 假如這個物件還沒弄出來 只在我腦裡面跑 有辦法透過row的數量跟col數量來推估記憶體使用量嗎 我怕寫一寫後來沒記憶體可以跑很尷尬 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.175.247.48 ※ 文章網址: https://www.ptt.cc/bbs/R_Language/M.1481870720.A.F18.html
推
12/16 15:43, , 1F
Memory required=no. of column * no. of row * 8 bytes
12/16 15:43, 1F
→
12/16 15:44, , 2F
/numeric
12/16 15:44, 2F
推
12/16 15:58, , 3F
可以，但也記得估運算過程需要的量。
12/16 15:58, 3F
→
12/16 15:59, , 4F
我有google到這個 那英文跟中文怎麼計算
12/16 15:59, 4F
→
12/16 16:00, , 5F
我只是用一個直式的data spread as橫式的data
12/16 16:00, 5F
→
12/16 16:00, , 6F
這樣過程會多耗記憶體嗎 會用data.table 應該不會copy吧
12/16 16:00, 6F
→
12/16 22:46, , 7F
有個package, memuse, 可以預估.
12/16 22:46, 7F
→
12/17 15:17, , 8F
你要看物件型態
12/17 15:17, 8F
→
12/17 15:18, , 9F
integer 4 byte, numeric 8 byte, logical 應該是 4?
12/17 15:18, 9F
→
12/17 15:18, , 10F
factor 主要是 4byte + levels 的量
12/17 15:18, 10F
→
12/17 15:18, , 11F
character 的話，一個字符1 byte, 你要用nchar估計每個
12/17 15:18, 11F
→
12/17 15:18, , 12F
element的平均長度後做計算
12/17 15:18, 12F
→
12/17 15:19, , 13F
最後估計你會用到多少個integer, numeric, logical, ...
12/17 15:19, 13F
→
12/17 15:19, , 14F
這樣就可以得到大致上的記憶體用量
12/17 15:19, 14F
‣ 更多 clansoda 的文章
文章代碼(AID): #1OKus0yO (R_Language)
R_Language 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 clansoda 的文章
文章代碼(AID): #1OKus0yO (R_Language)