[問題]spring jdbctemplae batchUpdate效能問題
各位前輩/大神 好：
目前使用spring boot MVC開發後端web程式，使用jdbctemplate寫資料庫程式，
用到其batchUpdate方法批次更新5萬筆資料，共花了26.443秒，執行效能不是很好，
說明如下：
1.軟體版本說明：
spring boot 3.0.2
spring-jdbc 6.0.4
mssql-jdbc 12.2.0
資料庫 微軟SQL Server 2019 Express
作業系統Windows 10
2.程式碼：
StocksRepository.java
僅列出batchUpdate方法的程式碼
public void batchUpdate(List<stock> stocks) {
jdbc_template.batchUpdate(
"update stocks set amount = ? where parts_number = ?",
new BatchPreparedStatementSetter() {
public void setValues(PreparedStatement ps,int i)
throws SQLException{
ps.setString(1,stocks.get(i).getAmount());
ps.setString(2,stocks.get(i).getParts_number());
}
public int getBatchSize(){
return stocks.size();
}
}//end BatchPreparedStatementSetter
);//end jdbctemplate batchupdate
}
-----------------------------------------------------------------------
主程式 StocksMagApplication.java
@SpringBootApplication
public class StocksMagApplication implements CommandLineRunner {
@Autowired
StocksRepository stock_res ;
public static void main(String[] args) {
SpringApplication.run(StocksMagApplication.class, args);
}
@Override
public void run(String... args) throws SQLException{
StopWatch timer = new StopWatch();
//撈5萬筆資料餵給m_stocks list。
List<stock>m_stocks = stock_res.findX86All();
System.out.println("start update record：update table 50000 record");
timer.start();
stock_res.batchUpdate(m_stocks);//批次更新5萬筆資料
timer.stop();
System.out.println("batchUpdate -> Total time in seconds: " +
timer.getTotalTimeSeconds());
}
}
----------------------------------------------------------------
3.效能改善作法：
StocksRepository.java
同樣在其batchUpdate方法裡：
/*
stocks list裡有5萬筆資料，每5000筆切為1個子list，共切成10個子list
sublist裡共有10個List<stock>。
*/
List<List<stock>> sublist = ListUtils.partition(new
ArrayList<>(stocks),5000);
for(List<stock> m_stocks :sublist) {
jdbc_template.batchUpdate(
.
.
.
程式碼實作跟上述相同，不再多述。
);
}
執行結果為25秒多，效能改善不大。
------------------------------------------------------------
4.是否還有其他效能改善的方式，懇請前輩/大神指導，謝謝。
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.39.69.66 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/java/M.1680360028.A.FA1.html
※ 編輯: u9423504 (114.39.69.66 臺灣), 04/01/2023 22:45:13
※ 編輯: u9423504 (114.39.69.66 臺灣), 04/02/2023 08:30:51
※ 編輯: u9423504 (114.39.69.66 臺灣), 04/02/2023 08:38:15
→
04/02 09:40,
1年前
, 1F
04/02 09:40, 1F
→
04/02 12:34,
1年前
, 2F
04/02 12:34, 2F
→
04/02 12:34,
1年前
, 3F
04/02 12:34, 3F
→
04/02 12:48,
1年前
, 4F
04/02 12:48, 4F
→
04/02 13:50,
1年前
, 5F
04/02 13:50, 5F
→
04/02 14:26,
1年前
, 6F
04/02 14:26, 6F
※ 編輯: u9423504 (114.33.57.160 臺灣), 04/02/2023 14:29:44
→
04/02 14:34,
1年前
, 7F
04/02 14:34, 7F
→
04/02 16:20,
1年前
, 8F
04/02 16:20, 8F
→
04/02 16:21,
1年前
, 9F
04/02 16:21, 9F
→
04/02 21:33,
1年前
, 10F
04/02 21:33, 10F
→
04/03 23:34,
1年前
, 11F
04/03 23:34, 11F
→
04/03 23:35,
1年前
, 12F
04/03 23:35, 12F
→
04/03 23:35,
1年前
, 13F
04/03 23:35, 13F
推
05/22 23:04,
11月前
, 14F
05/22 23:04, 14F
推
06/26 14:36,
10月前
, 15F
06/26 14:36, 15F