[問題] 輸入資料筆數限制

看板R_Language作者 (icewine)時間9年前 (2015/03/18 23:10), 編輯推噓2(2019)
留言21則, 5人參與, 最新討論串1/1
不知道R有沒有輸入資料大小的限制? 我把一個存有約20萬筆的.csv檔用read.table匯入R後, R內的資料筆數只有8萬多筆,整個匯入過程沒有出現錯誤訊息, 不知道是read.table的限制還是R本身限制? 有沒有辦法解決? 先謝謝各位解答。 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 217.189.188.210 ※ 文章網址: https://www.ptt.cc/bbs/R_Language/M.1426691444.A.356.html

03/19 00:19, , 1F
你先檢查看看匯入的Table最後一列有沒有什麼問題看看
03/19 00:19, 1F

03/19 00:20, , 2F
20萬這個數字本身不會挑戰到R的極限,問題應該在別處
03/19 00:20, 2F

03/19 00:23, , 3F
如果是正規的csv,可以試試data.table的fread看看,
03/19 00:23, 3F

03/19 00:23, , 4F
比較能夠給一些錯誤訊息。
03/19 00:23, 4F

03/19 01:15, , 5F
@Wush978 原資料Table跟匯入後的TABLE除了資料筆數不
03/19 01:15, 5F

03/19 01:15, , 6F
同外,一切正常。
03/19 01:15, 6F

03/19 01:16, , 7F
@celestialgod 用fread匯入資料筆數只多了約五千筆,
03/19 01:16, 7F

03/19 01:17, , 8F
離20萬還有一段距離。
03/19 01:17, 8F

03/19 01:17, , 9F
所以還是沒有錯誤訊息?
03/19 01:17, 9F

03/19 01:18, , 10F
有確定memory沒被用盡嗎??
03/19 01:18, 10F

03/19 02:42, , 11F
只有對資料型態的警告訊息另fread好像不能用dec=","?
03/19 02:42, 11F

03/19 02:50, , 12F
沒有顯示記憶體方面問題。
03/19 02:50, 12F

03/19 08:40, , 13F
dec? fread通常是用sep2,詳細可以讀manual
03/19 08:40, 13F

03/19 08:41, , 14F
資料型態的錯誤是什麼錯誤? 有時候可能是關鍵。
03/19 08:41, 14F

03/19 08:57, , 15F
先看資料型態是什麼? 我之前有遇到資料被塞入怪怪的東西
03/19 08:57, 15F

03/19 09:03, , 16F
我十萬筆資料一樣吃入 而且是windows~
03/19 09:03, 16F

03/19 09:04, , 17F
不過之前 也發生類似像原PO的事件 主要是被塞入特殊符號
03/19 09:04, 17F

03/19 09:05, , 18F
因為是網路抓的 所以每次讀到一半就中斷 或讀很久
03/19 09:05, 18F

03/19 14:03, , 19F
你有讀進來後, 再寫出來嗎?
03/19 14:03, 19F

03/19 14:04, , 20F
說不定是分隔符號的問題
03/19 14:04, 20F

03/19 17:54, , 21F
還是找不出原因,後來只好改用readLines解決。
03/19 17:54, 21F
文章代碼(AID): #1L2PLqDM (R_Language)
文章代碼(AID): #1L2PLqDM (R_Language)