[問題]spring jdbctemplae batchUpdate效能問題

看板java作者 (緣投農夫)時間11月前 (2023/04/01 22:40), 11月前編輯推噓2(2013)
留言15則, 8人參與, 8月前最新討論串1/1
各位前輩/大神 好: 目前使用spring boot MVC開發後端web程式,使用jdbctemplate寫資料庫程式, 用到其batchUpdate方法批次更新5萬筆資料,共花了26.443秒,執行效能不是很好, 說明如下: 1.軟體版本說明: spring boot 3.0.2 spring-jdbc 6.0.4 mssql-jdbc 12.2.0 資料庫 微軟SQL Server 2019 Express 作業系統Windows 10 2.程式碼: StocksRepository.java 僅列出batchUpdate方法的程式碼 public void batchUpdate(List<stock> stocks) { jdbc_template.batchUpdate( "update stocks set amount = ? where parts_number = ?", new BatchPreparedStatementSetter() { public void setValues(PreparedStatement ps,int i) throws SQLException{ ps.setString(1,stocks.get(i).getAmount()); ps.setString(2,stocks.get(i).getParts_number()); } public int getBatchSize(){ return stocks.size(); } }//end BatchPreparedStatementSetter );//end jdbctemplate batchupdate } ----------------------------------------------------------------------- 主程式 StocksMagApplication.java @SpringBootApplication public class StocksMagApplication implements CommandLineRunner { @Autowired StocksRepository stock_res ; public static void main(String[] args) { SpringApplication.run(StocksMagApplication.class, args); } @Override public void run(String... args) throws SQLException{ StopWatch timer = new StopWatch(); //撈5萬筆資料餵給m_stocks list。 List<stock>m_stocks = stock_res.findX86All(); System.out.println("start update record:update table 50000 record"); timer.start(); stock_res.batchUpdate(m_stocks);//批次更新5萬筆資料 timer.stop(); System.out.println("batchUpdate -> Total time in seconds: " + timer.getTotalTimeSeconds()); } } ---------------------------------------------------------------- 3.效能改善作法: StocksRepository.java 同樣在其batchUpdate方法裡: /* stocks list裡有5萬筆資料,每5000筆切為1個子list,共切成10個子list sublist裡共有10個List<stock>。 */ List<List<stock>> sublist = ListUtils.partition(new ArrayList<>(stocks),5000); for(List<stock> m_stocks :sublist) { jdbc_template.batchUpdate( . . . 程式碼實作跟上述相同,不再多述。 ); } 執行結果為25秒多,效能改善不大。 ------------------------------------------------------------ 4.是否還有其他效能改善的方式,懇請前輩/大神指導,謝謝。 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.39.69.66 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/java/M.1680360028.A.FA1.html ※ 編輯: u9423504 (114.39.69.66 臺灣), 04/01/2023 22:45:13 ※ 編輯: u9423504 (114.39.69.66 臺灣), 04/02/2023 08:30:51 ※ 編輯: u9423504 (114.39.69.66 臺灣), 04/02/2023 08:38:15

04/02 09:40, 11月前 , 1F
rewriteBatchedStatements=true
04/02 09:40, 1F

04/02 12:34, 11月前 , 2F
你最後那個只是把一個大List拆成小List
04/02 12:34, 2F

04/02 12:34, 11月前 , 3F
又串一起處理
04/02 12:34, 3F

04/02 12:48, 11月前 , 4F
parts_number有設定index嗎?
04/02 12:48, 4F

04/02 13:50, 11月前 , 5F
batch你要設定一次處理幾筆
04/02 13:50, 5F

04/02 14:26, 11月前 , 6F
database talbe parts_number有設定索引
04/02 14:26, 6F
※ 編輯: u9423504 (114.33.57.160 臺灣), 04/02/2023 14:29:44

04/02 14:34, 11月前 , 7F
回fgh81113:batch是設定5萬筆,共花26秒,效能不好。
04/02 14:34, 7F

04/02 16:20, 10月前 , 8F
batchUpdate有一個函數可以放batctSize,改成500看看
04/02 16:20, 8F

04/02 16:21, 10月前 , 9F
batchSize,我記得建議是設定500~1000
04/02 16:21, 9F

04/02 21:33, 10月前 , 10F
建議自己處理commit時機,可考慮每仟筆commit 一次
04/02 21:33, 10F

04/03 23:34, 10月前 , 11F
原程式碼看起來沒甚麼問題 索引也設了
04/03 23:34, 11F

04/03 23:35, 10月前 , 12F
sql server還有一招 "聚集索引 非聚集索引"
04/03 23:35, 12F

04/03 23:35, 10月前 , 13F
但這招可能不是你說想調整就調整的方式
04/03 23:35, 13F

05/22 23:04, 9月前 , 14F
請將更新資料放另一暫存表,一次更新原表數據
05/22 23:04, 14F

06/26 14:36, 8月前 , 15F
改r2dbc
06/26 14:36, 15F
文章代碼(AID): #1aA49S-X (java)
文章代碼(AID): #1aA49S-X (java)