[SQL ] 幾億筆的大資料表插入速度慢的問題!

看板Database (資料庫)作者 (ALEN)時間6年前 (2018/12/11 06:54), 編輯推噓4(407)
留言11則, 8人參與, 6年前最新討論串1/1
(針對 SQL 語言的問題,用這個標題。請用 Ctrl+Y 砍掉這行) 資料庫名稱:Mysql 資料庫版本:5.5 內容/問題描述: 目前有個資料表有2.8億筆數據,每天都是持續增加的狀態(有index) 但最近開始發現插入速度上變得很慢 不曉得是否一個資料表的數據量有所限制嗎? 那針對這樣持續會增加資料的資料表造成插入速度慢的情況 不曉得大家都是怎樣處理這一塊呢? 總不可能過了二年數據又變成四億多筆再來處理這一環就麻煩了 謝謝 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 219.71.35.151 ※ 文章網址: https://www.ptt.cc/bbs/Database/M.1544482472.A.94B.html

12/11 15:16, 6年前 , 1F
以前公司類似情況會取消index 快ㄧ些些
12/11 15:16, 1F

12/11 16:30, 6年前 , 2F
但如果有index需求,以及資料依然會越來越多的情況下
12/11 16:30, 2F

12/11 16:30, 6年前 , 3F
有否怎樣的解決辦法呢?
12/11 16:30, 3F

12/11 18:04, 6年前 , 4F
拆表呢?
12/11 18:04, 4F

12/11 18:48, 6年前 , 5F
拆表阿 歷史資料和本週資料之類的
12/11 18:48, 5F

12/11 20:08, 6年前 , 6F
index影響插入最深,能簡化就簡化,樓上拆表是常見作
12/11 20:08, 6F

12/11 20:08, 6年前 , 7F
12/11 20:08, 7F

12/11 20:14, 6年前 , 8F
但拆表還是要視資料擷取去拆,有的會拆年度不同表名
12/11 20:14, 8F

12/12 16:02, 6年前 , 9F
如果事先建空值,新內容用update的會不會比較快?
12/12 16:02, 9F

12/22 12:54, 6年前 , 10F
我改用redis
12/22 12:54, 10F

01/09 07:53, 6年前 , 11F
分區可能會改善
01/09 07:53, 11F
文章代碼(AID): #1S3kwebB (Database)
文章代碼(AID): #1S3kwebB (Database)