PTT數位生活區 / Python

[問題] python讀取大容量csv檔方法

看板Python作者 (ray)時間5年前 (2020/03/29 18:55), 編輯推噓6(6推 0噓 7→)
留言13則, 7人參與, 5年前最新討論串1/1
最近在使用python處理一個大容量（幾GB）的csv檔，但卻會顯示記憶體不足的錯誤，我google一下皆是推從 pd.read_csv 加 chunksize option的方法。 想知道還有無其他讀取大容量csv檔的方法？ ----- Sent from JPTT on my iPhone -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 61.228.13.172 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1585479343.A.98F.html
推
03/29 19:48, 5年前 , 1F
加大ram
03/29 19:48, 1F
推
03/29 20:01, 5年前 , 2F
用 readline() 一行一行parsing
03/29 20:01, 2F
→
03/29 22:46, 5年前 , 3F
試試看這篇文章的？
03/29 22:46, 3F
→
03/29 22:46, 5年前 , 4F
如何用Python在笔记本上分析100GB数据？ - InfoQ
03/29 22:46, 4F
→
03/29 22:46, 5年前 , 5F
03/29 22:46, 5F
→
03/29 22:46, 5年前 , 6F
clid=IwAR18R_esGZv0QgQbXwDO_lJe-qPowJxoV0kznzWfTWbnO
03/29 22:46, 6F
→
03/29 22:46, 5年前 , 7F
eYYsFISlqVNgh4
03/29 22:46, 7F
推
03/29 23:36, 5年前 , 8F
上面這段網址，可以縮減為
03/29 23:36, 8F
→
03/29 23:36, 5年前 , 9F
03/29 23:36, 9F
推
03/30 01:58, 5年前 , 10F
hdf5
03/30 01:58, 10F
推
03/30 15:57, 5年前 , 11F
上面講的Vaex好酷 學習了...
03/30 15:57, 11F
→
03/30 15:58, 5年前 , 12F
03/30 15:58, 12F
推
03/31 15:33, 5年前 , 13F
Vaex 的 API 讓介接呈現資料變得挺方便！感謝分享 :-)
03/31 15:33, 13F
‣ 更多 reallife 的文章
文章代碼(AID): #1UW7wlcF (Python)
Python 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 reallife 的文章
文章代碼(AID): #1UW7wlcF (Python)