[問題] Pandas 如何讀取過大的json
我新手學python沒多久有夠菜
試了很久還是解決不了這個問題
有求於各位大大幫忙
Json結構大概如下
[{A:123,
B:456,
C:[{a:1, b:1, c: 1},{a:2, b:2, c:3}.....]},
{
...}]
因為大概有30萬列
因為pandas的read_json會出現memory error
查了一下用ijson試著慢慢讀取
用下面的code讀A跟B
寫入DataFrame都沒問題
但是換讀取C又會出現memory error
C裡面是相同結構dict組成一個長度不等的list
不知道還有什麼方法可以寫進DataFrame
以下是code
filename='full.json'
with open(filename,'r') as f
objects = ijson.items(f, 'item.C')
columns = list(objects)
df['C'] = pd.Series(columns)
請問該怎麼處理...
-----
Sent from JPTT on my iPhone
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 49.217.85.245 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1564211640.A.F28.html
推
07/27 20:17,
6年前
, 1F
07/27 20:17, 1F
→
07/27 21:18,
6年前
, 2F
07/27 21:18, 2F
→
07/27 21:18,
6年前
, 3F
07/27 21:18, 3F
→
07/27 22:56,
6年前
, 4F
07/27 22:56, 4F
→
07/28 11:27,
6年前
, 5F
07/28 11:27, 5F
→
07/28 11:28,
6年前
, 6F
07/28 11:28, 6F
→
07/28 11:31,
6年前
, 7F
07/28 11:31, 7F
s
※ 編輯: energyaxd (49.217.85.245 臺灣), 07/28/2019 12:01:06
→
07/28 12:03,
6年前
, 8F
07/28 12:03, 8F
→
07/28 12:05,
6年前
, 9F
07/28 12:05, 9F
→
07/28 12:07,
6年前
, 10F
07/28 12:07, 10F
推
07/28 12:10,
6年前
, 11F
07/28 12:10, 11F
→
07/28 15:16,
6年前
, 12F
07/28 15:16, 12F
推
07/28 22:51,
6年前
, 13F
07/28 22:51, 13F
→
07/29 18:28,
6年前
, 14F
07/29 18:28, 14F
推
07/30 00:14,
6年前
, 15F
07/30 00:14, 15F
→
07/30 16:32,
6年前
, 16F
07/30 16:32, 16F
→
07/30 16:33,
6年前
, 17F
07/30 16:33, 17F
→
07/30 21:18,
6年前
, 18F
07/30 21:18, 18F
→
07/30 21:23,
6年前
, 19F
07/30 21:23, 19F
→
07/30 21:26,
6年前
, 20F
07/30 21:26, 20F
→
07/30 21:27,
6年前
, 21F
07/30 21:27, 21F
→
07/30 21:28,
6年前
, 22F
07/30 21:28, 22F
Python 近期熱門文章
PTT數位生活區 即時熱門文章