PTT數位生活區 / java

[問題] 大數據批次更新的方式

看板java作者 (J-Fla)時間6年前 (2018/10/24 17:42), 6年前編輯推噓4(4推 0噓 9→)
留言13則, 7人參與, 6年前最新討論串1/2 (看更多)
若在一mysql中有8個table要更新數據 每一table更新的數據約60萬筆資料 請問以下更新的方法是否可行? 開10條執行緒(需要10個connection) 第1條執行緒從第1筆開始更新 第2條執行緒從第5萬筆開始更新 第3條執行緒從第12筆開始更新 .... 第10條執行緒從第50筆開始更新 請問這樣子的方式可行嗎? -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 180.204.49.162 ※ 文章網址: https://www.ptt.cc/bbs/java/M.1540374149.A.558.html
→
10/24 17:46, 6年前 , 1F
為什麼要這麼做？你想解決什麼樣的問題？
10/24 17:46, 1F
單純更新資料，每天固定更新資料約60萬筆
推
10/24 18:01, 6年前 , 2F
當然是可以啊? 變快 變慢 不知道而已
10/24 18:01, 2F
→
10/24 18:02, 6年前 , 3F
你可以測試看看
10/24 18:02, 3F
→
10/25 00:02, 6年前 , 4F
60萬應該算不上大數據吧?
10/25 00:02, 4F
是的，不太算
→
10/25 00:32, 6年前 , 5F
你是打算多快！？要有個門檻出來，拿工具量一量，再來看要
10/25 00:32, 5F
→
10/25 00:33, 6年前 , 6F
不要改它吧。你資料產出的那一端，到底每秒能生多少筆？
10/25 00:33, 6F
→
10/25 00:33, 6年前 , 7F
你的消耗端 (mysql) 只要能承受比它高，就算達標了唄。
10/25 00:33, 7F
希望這樣子的排程工作能在2小時之內完成更新60萬筆資料。 ※ 編輯: jfla (180.204.49.162), 10/25/2018 09:47:00
推
10/25 12:46, 6年前 , 8F
用java這麼多次io當然慢 寫sp吧 60小case啦
10/25 12:46, 8F
推
10/26 09:03, 6年前 , 9F
先看60萬的條件吧
10/26 09:03, 9F
推
10/26 10:58, 6年前 , 10F
這應要該要用sp去弄啊，不要硬用java啊
10/26 10:58, 10F
→
10/27 12:13, 6年前 , 11F
SP 不見得會比較好，視乎OP 要做什麼。比如是每天拿
10/27 12:13, 11F
→
10/27 12:13, 6年前 , 12F
到60萬筆的檔案，再根據檔案內容update, 用stored pro
10/27 12:13, 12F
→
10/27 12:13, 6年前 , 13F
c 不見得會跑得快，還要考慮整體架構
10/27 12:13, 13F
‣ 更多 jfla 的文章
文章代碼(AID): #1Rq3w5LO (java)
討論串 (同標題文章)
以下文章回應了本文：
完整討論串 (本文為第 1 之 2 篇)：
排序： 最舊先 | 最新先 | 留言數
在新視窗開啟完整討論串 (共2篇)
java 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 jfla 的文章
文章代碼(AID): #1Rq3w5LO (java)