[問題]spring jdbctemplae batchUpdate效能問題

看板java作者u9423504 (緣投農夫)時間1年前 (2023/04/01 22:40)推噓2(2推 0噓 13→)

留言15則, 8人參與討論串1/1

各位前輩/大神好：目前使用spring boot MVC開發後端web程式，使用jdbctemplate寫資料庫程式，用到其batchUpdate方法批次更新5萬筆資料，共花了26.443秒，執行效能不是很好，說明如下： 1.軟體版本說明： spring boot 3.0.2 spring-jdbc 6.0.4 mssql-jdbc 12.2.0 資料庫微軟SQL Server 2019 Express 作業系統Windows 10 2.程式碼： StocksRepository.java 僅列出batchUpdate方法的程式碼 public void batchUpdate(List<stock> stocks) { jdbc_template.batchUpdate( "update stocks set amount = ? where parts_number = ?", new BatchPreparedStatementSetter() { public void setValues(PreparedStatement ps,int i) throws SQLException{ ps.setString(1,stocks.get(i).getAmount()); ps.setString(2,stocks.get(i).getParts_number()); } public int getBatchSize(){ return stocks.size(); } }//end BatchPreparedStatementSetter );//end jdbctemplate batchupdate } ----------------------------------------------------------------------- 主程式 StocksMagApplication.java @SpringBootApplication public class StocksMagApplication implements CommandLineRunner { @Autowired StocksRepository stock_res ; public static void main(String[] args) { SpringApplication.run(StocksMagApplication.class, args); } @Override public void run(String... args) throws SQLException{ StopWatch timer = new StopWatch(); //撈5萬筆資料餵給m_stocks list。 List<stock>m_stocks = stock_res.findX86All(); System.out.println("start update record：update table 50000 record"); timer.start(); stock_res.batchUpdate(m_stocks);//批次更新5萬筆資料 timer.stop(); System.out.println("batchUpdate -> Total time in seconds: " + timer.getTotalTimeSeconds()); } } ---------------------------------------------------------------- 3.效能改善作法： StocksRepository.java 同樣在其batchUpdate方法裡： /* stocks list裡有5萬筆資料，每5000筆切為1個子list，共切成10個子list sublist裡共有10個List<stock>。 */ List<List<stock>> sublist = ListUtils.partition(new ArrayList<>(stocks),5000); for(List<stock> m_stocks :sublist) { jdbc_template.batchUpdate( . . . 程式碼實作跟上述相同，不再多述。 ); } 執行結果為25秒多，效能改善不大。 ------------------------------------------------------------ 4.是否還有其他效能改善的方式，懇請前輩/大神指導，謝謝。 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.39.69.66 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/java/M.1680360028.A.FA1.html ※ 編輯: u9423504 (114.39.69.66 臺灣), 04/01/2023 22:45:13 ※ 編輯: u9423504 (114.39.69.66 臺灣), 04/02/2023 08:30:51 ※ 編輯: u9423504 (114.39.69.66 臺灣), 04/02/2023 08:38:15