PTT數位生活區 / Python

[問題] 兩百萬筆資料中拉出固定頻率的筆數

看板Python作者 (大家都叫我吠蚊)時間5年前 (2019/10/09 10:42), 編輯推噓1(1推 0噓 4→)
留言5則, 4人參與, 5年前最新討論串1/1
想請問一下各位大神 目前遇到一個困難 目前研究拿到一筆總數蠻大的data 是 CSV檔 但當初在蒐集資料時是每一秒蒐集一次 在蒐完之後才發現筆數過大很大軟體都沒辦法一次彙整 是否有辦法取出其中固定頻率的資料呢 像是原本是一秒一筆資料想從裡面大概每五分鐘拿一次資料這樣 其他的刪除 (假設其資料 變動幅度不大，這樣刪除無其他問題) 謝謝!! -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 39.10.229.92 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1570588929.A.7F0.html
→
10/09 11:32, 5年前 , 1F
for i in range(0,len(list),300):
10/09 11:32, 1F
推
10/09 11:55, 5年前 , 2F
用pandas的 pd.read_csv(檔名, chunk=一次讀幾筆)
10/09 11:55, 2F
→
10/09 11:55, 5年前 , 3F
詳情可以找官網來看
10/09 11:55, 3F
→
10/09 12:31, 5年前 , 4F
謝謝兩位大大，我再研究看看!!
10/09 12:31, 4F
→
10/09 13:40, 5年前 , 5F
pandas resample也可以看看
10/09 13:40, 5F
‣ 更多 steve55987 的文章
文章代碼(AID): #1TdKa1Vm (Python)
Python 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 steve55987 的文章
文章代碼(AID): #1TdKa1Vm (Python)