PTT數位生活區 / R_Language

[問題] 大型矩陣要匯入R

看板R_Language作者 (阿捲)時間9年前 (2016/11/08 16:36), 9年前編輯推噓1(1推 0噓 7→)
留言8則, 4人參與, 最新討論串1/1
[軟體熟悉度]: 入門(學習約莫1年) [問題敘述]: 有一筆（12968*11046）的大型矩陣（0和1組成），使用read.table一次讀進R時，出現記 憶體不夠問題！ 若想要一次一列的讀取進來後，做分析完後，再讀取下一列資料，以這樣一列一列的逐步 分析！ 先感謝各位版友！！ -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.139.199.249 ※ 文章網址: https://www.ptt.cc/bbs/R_Language/M.1478594207.A.8A5.html ※ 編輯: kenfossil (223.139.199.249), 11/08/2016 16:37:17
→
11/08 17:24, , 1F
read.table 可指定 nrows skip colClasses 可能有幫助。
11/08 17:24, 1F
→
11/08 17:25, , 2F
或是直接改用 data.table::fread() 看看
11/08 17:25, 2F
→
11/08 21:07, , 3F
感謝andrew43大大！ 有試出來了！！
11/08 21:07, 3F
→
11/08 21:07, , 4F
也可以試試 bigmemory::read.big.matrix()
11/08 21:07, 4F
→
11/08 21:08, , 5F
其實你的資料其實不算很大…電腦可用的記憶體是否不多了
11/08 21:08, 5F
→
11/09 01:41, , 6F
正常應該吃1G記憶體，這可以算得
11/09 01:41, 6F
推
11/09 23:31, , 7F
bigmemory套件不錯用 可以搜尋cywhale的文章
11/09 23:31, 7F
→
11/09 23:32, , 8F
目前我都用這個 處理3g左右的data
11/09 23:32, 8F
‣ 更多 kenfossil 的文章
文章代碼(AID): #1O8OwVYb (R_Language)
R_Language 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 kenfossil 的文章
文章代碼(AID): #1O8OwVYb (R_Language)