MySQL批量插入不插入重復數(shù)據(jù)的方法

這篇文章主要講解了“MySQL 批量插入不插入重復數(shù)據(jù)的方法”，文中的講解內容簡單清晰，易于學習與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學習“MySQL 批量插入不插入重復數(shù)據(jù)的方法”吧！

10年的平涼網(wǎng)站建設經驗，針對設計、前端、開發(fā)、售后、文案、推廣等六對一服務，響應快，48小時及時工作處理。成都全網(wǎng)營銷的優(yōu)勢是能夠根據(jù)用戶設備顯示端的尺寸不同，自動調整平涼建站的顯示方式，使網(wǎng)站能夠適用不同顯示終端，在瀏覽器中調整網(wǎng)站的寬度，無論在任何一種瀏覽器上瀏覽網(wǎng)站，都能展現(xiàn)優(yōu)雅布局與設計，從而大程度地提升瀏覽體驗。創(chuàng)新互聯(lián)從事“平涼網(wǎng)站設計”,“平涼網(wǎng)站推廣”以來，每個客戶項目都認真落實執(zhí)行。

溫故而知新

知識這個東西，看來真的要溫故而知新，一直不用，都要忘記了。

業(yè)務很簡單：需要批量插入一些數(shù)據(jù)，數(shù)據(jù)來源可能是其他數(shù)據(jù)庫的表，也可能是一個外部excel的導入。

那么問題來了，是不是每次插入之前都要查一遍，看看重不重復，在代碼里篩選一下數(shù)據(jù)，重復的就過濾掉呢？

向大數(shù)據(jù)數(shù)據(jù)庫中插入值時，還要判斷插入是否重復，然后插入。如何提高效率？

看來這個問題不止我一個人苦惱過。

解決的辦法有很多種，不同的場景解決方案也不一樣，數(shù)據(jù)量很小的情況下，怎么搞都行，但是數(shù)據(jù)量很大的時候，這就不是一個簡單的問題了

幾百萬的數(shù)據(jù)，不可能查出來去重處理！

說一下我Google到的解決方案。

1、insert ignore into

當插入數(shù)據(jù)時，如出現(xiàn)錯誤時，如重復數(shù)據(jù)，將不返回錯誤，只以警告形式返回。所以使用ignore請確保語句本身沒有問題，否則也會被忽略掉。例如：

INSERT IGNORE INTO user (name) VALUES ('telami')

這種方法很簡便，但是有一種可能，就是插入不是因為重復數(shù)據(jù)報錯，而是因為其他原因報錯的，也同樣被忽略了～

2、on duplicate key update

當primary或者unique重復時，則執(zhí)行update語句，如update后為無用語句，如id=id，則同1功能相同，但錯誤不會被忽略掉。

例如，為了實現(xiàn)name重復的數(shù)據(jù)插入不報錯，可使用一下語句：

INSERT INTO user (name) VALUES ('telami') ON duplicate KEY UPDATE id = id

這種方法有個前提條件，就是，需要插入的約束，需要是主鍵或者唯一約束（在你的業(yè)務中那個要作為唯一的判斷就將那個字段設置為唯一約束也就是unique key）。

3、insert … select … where not exist

根據(jù)select的條件判斷是否插入，可以不光通過primary 和unique來判斷，也可通過其它條件。例如：

INSERT INTO user (name) SELECT 'telami' FROM dual WHERE NOT EXISTS (SELECT id FROM user WHERE id = 1)

這種方法其實就是使用了mysql的一個臨時表的方式，但是里面使用到了子查詢，效率也會有一點點影響，如果能使用上面的就不使用這個。

4、replace into

如果存在primary or unique相同的記錄，則先刪除掉。再插入新記錄。

REPLACE INTO user SELECT 1, 'telami' FROM books

這種方法就是不管原來有沒有相同的記錄，都會先刪除掉然后再插入。

實踐

選擇的是第二種方式

    insert into user (id,username,mobile_number)
    values    
        (
            #{item.id},
            #{item.username},
            #{item.mobileNumber}
        )
    
    ON duplicate KEY UPDATE id = id

這里用的是Mybatis，批量插入的一個操作，mobile_number已經加了唯一約束。這樣在批量插入時，如果存在手機號相同的話，是不會再插入了的。

感謝各位的閱讀，以上就是“MySQL 批量插入不插入重復數(shù)據(jù)的方法”的內容了，經過本文的學習后，相信大家對MySQL 批量插入不插入重復數(shù)據(jù)的方法這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是創(chuàng)新互聯(lián)，小編將為大家推送更多相關知識點的文章，歡迎關注！

本文名稱：MySQL批量插入不插入重復數(shù)據(jù)的方法
網(wǎng)站網(wǎng)址：http://m.jiaotiyi.com/article/psiijj.html