[問題] pandas read_sql(mysql) 資料大時很慢
如題
同一段語法，查詢結果約數百萬筆，有三個欄位varchar ,datetime ,float
情況
一.使用mysql workbench 測試sql語法，duration 7.551s，fetch 20.654s
二.使用pandas read_sql 未使用chunksize，跑超過半小時跑不出來，ram沒有動
使用chunksize 也沒有改善 (pymysql + sqlalchemy)
連到db server 看mysql workbench的dash board，
在Outgoing Network Traffic 部分，情況一的流量比情況二明顯多很多，
而且情況二的流量不太連續。
在InnoDB Disk Reads的狀況也是一樣。
不知道pandas 這邊還有什麼調校手法可以使用，再麻煩先進指點一下!
謝謝!
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.225.109.87
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1532852039.A.F7C.html
→
07/29 16:56,
7年前
, 1F
07/29 16:56, 1F
推
07/29 23:30,
7年前
, 2F
07/29 23:30, 2F
Python 近期熱門文章
PTT數位生活區 即時熱門文章
