PTT數位生活區 / Python

[問題] csv大量時間數據轉換

看板Python作者 (逢甲路黑天鵝)時間6年前 (2019/04/26 00:29), 6年前編輯推噓2(3推 1噓 11→)
留言15則, 8人參與, 6年前最新討論串1/1
各位大神大家好 小弟是初學的新手 最近拿到一份四百多萬筆的時間數據.csv 其時間數據格式大概長這樣 A B 1 G1 2018010101 2 G2 2018011101 ....... 想請問我想要將時間資訊的欄位轉換為 2018-01-01 01:00:00.000 2018-01-11 01:00:00.000 並重新產生一份新的csv 我應該用datetime相關函式去處理 還是單純按照數據規則去加上 - : 等相關符號土法煉鋼處理 先感謝各位大大的答覆 還請指教教學 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.160.208.210 ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1556209762.A.C3D.html
→
04/26 00:34, 6年前 , 1F
datatime
04/26 00:34, 1F
→
04/26 00:34, 6年前 , 2F
吧
04/26 00:34, 2F
推
04/26 00:47, 6年前 , 3F
用pandas讀進去，再用apply將其轉換成datetime，並傳回str
04/26 00:47, 3F
→
04/26 01:06, 6年前 , 4F
04/26 01:06, 4F
推
04/26 09:53, 6年前 , 5F
一行一行讀，人工split好像也花不了幾秒鐘?
04/26 09:53, 5F
推
04/26 11:13, 6年前 , 6F
你問的應該是效率誰好？ 分別處理一次看處理時間差異
04/26 11:13, 6F
→
04/26 11:14, 6年前 , 7F
code的量其實應該沒啥差，不過速度應該會慢一點。
04/26 11:14, 7F
→
04/26 11:14, 6年前 , 8F
pandas的處理速度快很多
04/26 11:14, 8F
→
04/26 11:15, 6年前 , 9F
而且一行一行處理，還要考量磁碟IO
04/26 11:15, 9F
→
04/26 11:15, 6年前 , 10F
pandas則是要注意記憶體夠不夠
04/26 11:15, 10F
→
04/26 15:04, 6年前 , 11F
time 還是 datetime 有個東西可以自訂輸入 strftime 然後
04/26 15:04, 11F
→
04/26 15:04, 6年前 , 12F
再轉存你要的格式即可
04/26 15:04, 12F
→
04/26 20:54, 6年前 , 13F
檔案太大的話pandas也有chunk可以用
04/26 20:54, 13F
→
04/26 21:48, 6年前 , 14F
先不要管400萬筆 先用前1萬筆試試看就好啦
04/26 21:48, 14F
噓
04/27 13:57, 6年前 , 15F
Google
04/27 13:57, 15F
感謝各位大大的回覆意見 過幾天有空我再繼續試試 樂冰大不用這麼噓 我就是google過沒有明確答案 也查過相關ptt文章問題 或許我的問題可能對你來說很簡單吧 佔到版面還深感抱歉 ※ 編輯: lattes (27.247.226.214), 04/27/2019 15:10:31
‣ 更多 lattes 的文章
文章代碼(AID): #1SmU1Ymz (Python)
Python 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 lattes 的文章
文章代碼(AID): #1SmU1Ymz (Python)