mysql大數(shù)據(jù)插入刪除同時(shí)進(jìn)行，刪除出錯(cuò)

xiaojuan198411

現(xiàn)在公司在做一個(gè)項(xiàng)目，需要對(duì)同一張表進(jìn)行日志的插入與刪除，插入采用批處理的方式，進(jìn)行新日志的插入，刪除用delete方式，刪除過期的日志，每天插入的日志量大約是15個(gè)G左右，那刪除過期日志也是按天，也大約是15個(gè)G，在刪除過程中，總出現(xiàn)這樣的問題，java.sql.SQLException: Lock wait timeout exceeded; try restarting transaction
    at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:1055)
    at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:956)
    at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3515)
    at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3447)
    at com.mysql.jdbc.MysqlIO.sendCommand(MysqlIO.java:1951)
    at com.mysql.jdbc.MysqlIO.sqlQueryDirect(MysqlIO.java:2101)
    at com.mysql.jdbc.ConnectionImpl.execSQL(ConnectionImpl.java:254
    at com.mysql.jdbc.StatementImpl.executeUpdate(StatementImpl.java:1605)
    at com.mysql.jdbc.StatementImpl.executeUpdate(StatementImpl.java:1524)
    at org.apache.commons.dbcp.DelegatingStatement.executeUpdate(DelegatingStatement.java:196)
    at com.lenovo.soc.logmgmt.logconfig.db.logmgmt_DelLogAuto.dellastlog(logmgmt_DelLogAuto.java:209)
    at com.lenovo.soc.logmgmt.LogDelService.delEarliestLog(LogDelService.java:233)
    at com.lenovo.soc.logmgmt.LogDelService.run(LogDelService.java:114)
(1281547 ms) [Thread-120] INFO : com.lenovo.soc.logmgmt.logconfig.db.logmgmt_DelLogAuto#info : 刪除最早一天的記錄錯(cuò)誤
16:03:34,937 INFO  [         db.logmgmt_DelLogAuto]   - 刪除最早一天的記錄錯(cuò)誤
java.sql.SQLException: Connection is closed.
    at org.apache.commons.dbcp.PoolingDataSource$PoolGuardConnectionWrapper.checkOpen(PoolingDataSource.java:219)
    at org.apache.commons.dbcp.PoolingDataSource$PoolGuardConnectionWrapper.setAutoCommit(PoolingDataSource.java:337)
    at com.lenovo.soc.logmgmt.logconfig.db.logmgmt_DelLogAuto.dellastlog(logmgmt_DelLogAuto.java:233)
    at com.lenovo.soc.logmgmt.LogDelService.delEarliestLog(LogDelService.java:233)
    at com.lenovo.soc.logmgmt.LogDelService.run(LogDelService.java:114)
請(qǐng)教各們高手，該如何解決？

在線等，都3天了，還沒有找到解決方法！

xiaojuan198411

是因?yàn)閿?shù)據(jù)庫(kù)操作有優(yōu)先級(jí)的原因嗎？刪除的優(yōu)先級(jí)要低于插入的，所以一直申請(qǐng)不到資源，所以一直刪除不了數(shù)據(jù)？

909413335

對(duì)于你這個(gè)業(yè)務(wù)特點(diǎn)，用日期做分區(qū)，按天分區(qū)，刪除數(shù)據(jù)的時(shí)候，一個(gè)alter table drop partition就搞定，非常的迅捷。

909413335

數(shù)據(jù)操作的默認(rèn)優(yōu)先級(jí)是DML操作高于SELECT操作，DML里的三種操作，是平級(jí)關(guān)系。
MYSQL可以通過參數(shù)調(diào)整語(yǔ)句優(yōu)先級(jí)。

xiaojuan198411

請(qǐng)問樓上，怎么調(diào)整語(yǔ)句DEL為優(yōu)先級(jí)最高啊？可以加我QQ：1448214847

ning_lianjie

Lock wait timeout exceeded; try restarting transaction

看報(bào)錯(cuò)信息,是所等待超時(shí),這種刪除應(yīng)該在程序中設(shè)置成分批刪除.
MySQL有沒有異常?數(shù)據(jù)是否刪除?

xiaojuan198411

mysql有異常，數(shù)據(jù)沒有刪除的了
請(qǐng)問樓上，設(shè)置分批刪除，語(yǔ)句怎么寫？謝謝:wink:

xiaojuan198411

回復(fù) 6# ning_lianjie
請(qǐng)問這個(gè)怎么寫循環(huán)刪除啊？


   

xiaojuan198411

回復(fù) 4# 909413335
請(qǐng)問怎么調(diào)整DEL優(yōu)先級(jí)為最高？

   

cenalulu

從報(bào)錯(cuò)來看就是鎖等待超時(shí)，簡(jiǎn)單了說就是delete時(shí)無(wú)法得到需要的LOCK（很可能是被Select阻塞）。
最好的解決方法是分析當(dāng)時(shí)互相阻塞的語(yǔ)句。
但從現(xiàn)在的情況來猜測(cè)的話，是由于你的delete沒有走上索引，導(dǎo)致全表掃描，需要獲得table lock（我理解你需要?jiǎng)h除的數(shù)據(jù)是不應(yīng)該再有訪問的）。
如果是這種原因造成的，解決方法就比較簡(jiǎn)單。
A. 對(duì)于delete的條件添加索引
B. 通過主鍵條件來進(jìn)行刪除。