十年網(wǎng)站開發(fā)經(jīng)驗(yàn) + 多家企業(yè)客戶 + 靠譜的建站團(tuán)隊
量身定制 + 運(yùn)營維護(hù)+專業(yè)推廣+無憂售后,網(wǎng)站問題一站解決
本篇內(nèi)容主要講解“MySQL的死鎖機(jī)制以及避免死鎖的方法”,感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷,實(shí)用性強(qiáng)。下面就讓小編來帶大家學(xué)習(xí)“MySQL的死鎖機(jī)制以及避免死鎖的方法”吧!
創(chuàng)新互聯(lián)建站是工信部頒發(fā)資質(zhì)IDC服務(wù)器商,為用戶提供優(yōu)質(zhì)的成都服務(wù)器托管服務(wù)
一 前言
死鎖是每個MySQL DBA 都會遇到的技術(shù)問題,本文自己針對死鎖學(xué)習(xí)的一個總結(jié),了解死鎖是什么,MySQL如何檢測死鎖,處理死鎖,死鎖的案例,如何避免死鎖。
二 死鎖
死鎖 是并發(fā)系統(tǒng)中常見的問題,同樣也會出現(xiàn)在Innodb系統(tǒng)中。當(dāng)兩個及以上的事務(wù),雙方都在等待對方釋放已經(jīng)持有的鎖或者因?yàn)榧渔i順序不一致造成循環(huán)等待鎖資源,就會出現(xiàn)"死鎖"。舉例來說A 事務(wù)持有x1鎖 ,申請x2鎖,B 事務(wù)持有x2鎖,申請x1 鎖。A和B 事務(wù)持有鎖并且申請對方持有的鎖進(jìn)入循環(huán)等待,就造成死鎖。
從死鎖的定義來看,MySQL出現(xiàn)死鎖的幾個要素:
a 兩個或者兩個以上事務(wù)。
b 每個事務(wù)都已經(jīng)持有鎖并且申請新的鎖。
c 鎖資源同時只能被同一個事務(wù)持有或者不兼容。
d 事務(wù)之間因?yàn)槌钟墟i和申請鎖導(dǎo)致了循環(huán)等待。
三 MySQL的死鎖機(jī)制
死鎖機(jī)制包含兩部分:檢測和處理。
把事務(wù)等待列表和鎖等待信息列表通過事務(wù)信息進(jìn)行wait-for graph 檢測,如果發(fā)現(xiàn)有閉環(huán),則回滾undo log 量少的事務(wù);死鎖檢測本身也會算檢測本身所需要的成本,以便應(yīng)對檢測超時導(dǎo)致的意外情況。
3.1 死鎖檢測
當(dāng)InnoDB事務(wù)嘗試獲取(請求)加一個鎖,并且需要等待時,InnoDB 會進(jìn)行死鎖檢測. 正常的流程如下:
1.InnoDB的初始化一個事務(wù),當(dāng)事務(wù)嘗試申請加一個鎖,并且需要等待時(wait_lock),innodb會開始進(jìn)行死鎖檢測(deadlock_mark)
2.進(jìn)入到lock_deadlock_check_and_resolve()函數(shù)進(jìn)行檢測死鎖和解決死鎖。
3.檢測死鎖過程中,是有計數(shù)器來進(jìn)行限制的,在等待wait-for graph 檢測過程中遇到超時或者超過閾值,則停止檢測。
4.死鎖檢測的邏輯之一是等待圖的處理過程,如果通過鎖的信息和事務(wù)等待鏈構(gòu)造出一個圖,如果圖中出現(xiàn)回路,就認(rèn)為發(fā)生了死鎖。
5.死鎖的回滾,內(nèi)部代碼的處理邏輯之一是比較undo的數(shù)量,回滾undo數(shù)量少的事務(wù)。
3.2 如何處理死鎖
《數(shù)據(jù)庫系統(tǒng)實(shí)現(xiàn)》里面提到的死鎖處理
1.超時死鎖檢測:當(dāng)存在死鎖時,想所有事務(wù)都能同時繼續(xù)執(zhí)行通常是不可能的,因此,至少一個事務(wù)必須中止并重新開始。超時是最直接的辦法,對超出活躍時間的事務(wù)進(jìn)行限制和回滾
2.等待圖:等待圖的實(shí)現(xiàn),是可以表明哪些事務(wù)在等待其他事務(wù)持有的鎖,可以在數(shù)據(jù)庫的死鎖檢測里面加上這個機(jī)制來進(jìn)行檢測是否有環(huán)的形成。
3.通過元素排序預(yù)防死鎖:這個想法很美好,但現(xiàn)實(shí)很殘酷,通常都是發(fā)現(xiàn)死鎖后才去想辦法解決死鎖的原因
4.通過時間戳檢測死鎖:對每個事務(wù)都分配一個時間戳,根據(jù)時間戳來進(jìn)行回滾策略。
四 Innodb 的鎖類型
首先我們要知道對于MySQL有兩種常規(guī)鎖模式
LOCK_S(讀鎖,共享鎖)
LOCK_X(寫鎖,排它鎖)
最容易理解的鎖模式,讀加共享鎖(in share mode),寫加排它鎖.
有如下幾種鎖的屬性
LOCK_REC_NOT_GAP (鎖記錄)
LOCK_GAP (鎖記錄前的GAP)
LOCK_ORDINARY (同時鎖記錄+記錄前的GAP,也即Next Key鎖)
LOCK_INSERT_INTENTION (插入意向鎖,其實(shí)是特殊的GAP鎖)
鎖的屬性可以與鎖模式任意組合。例如.
lock->type_mode 可以是Lock_X 或者Lock_S
locks gap before rec 表示為gap鎖:lock->type_mode & LOCK_GAP
locks rec but not gap 表示為記錄鎖,非gap鎖:lock->type_mode & LOCK_REC_NOT_GAP
insert intention 表示為插入意向鎖:lock->type_mode & LOCK_INSERT_INTENTION
waiting 表示鎖等待:lock->type_mode & LOCK_WAIT
注 關(guān)于Innodb 鎖的詳細(xì)介紹 可以移步 官方文檔 或者 MySQL · 引擎特性 · InnoDB 事務(wù)鎖系統(tǒng)簡介
五 Innodb 不同事務(wù)加鎖類型
實(shí)例 update tab set x=1 where id= 1 ;
1 索引列是主鍵,RC隔離級別
對記錄記錄加X鎖
2 索引列是二級唯一索引,RC隔離級別
若id列是unique列,其上有unique索引。那么SQL需要加兩個X鎖,一個對應(yīng)于id unique索引上的id = 10的記錄,另一把鎖對應(yīng)于聚簇索引上的[name=’d’,id=10]的記錄。
3 索引列是二級非唯一索引,RC隔離級別
若id列上有非唯一索引,那么對應(yīng)的所有滿足SQL查詢條件的記錄,都會被加鎖。同時,這些記錄在主鍵索引上的記錄,也會被加鎖。
4 索引列上沒有索引,RC隔離級別
若id列上沒有索引,SQL會走聚簇索引的全掃描進(jìn)行過濾,由于過濾是由MySQL Server層面進(jìn)行的。因此每條記錄,無論是否滿足條件,都會被加上X鎖。但是,為了效率考量,MySQL做了優(yōu)化,對于不滿足條件的記錄,會在判斷后放鎖,最終持有的,是滿足條件的記錄上的鎖,但是不滿足條件的記錄上的加鎖/放鎖動作不會省略。同時,優(yōu)化也違背了2PL的約束。
5 索引列是主鍵,RR隔離級別
對記錄記錄加X鎖
6 索引列是二級唯一索引,RR隔離級別
對表加上兩個X鎖,唯一索引滿足條件的記錄上一個,對應(yīng)的聚簇索引上的記錄一個。
7 索引列是二級非唯一索引,RR隔離級別
結(jié)論:Repeatable Read隔離級別下,id列上有一個非唯一索引,對應(yīng)SQL:delete from t1 where id = 10;
首先,通過id索引定位到第一條滿足查詢條件的記錄,加記錄上的X鎖,加GAP上的GAP鎖,然后加主鍵聚簇索引上的記錄X鎖,然后返回;然后讀取下一條,重復(fù)進(jìn)行。直至進(jìn)行到第一條不滿足條件的記錄[11,f],此時,不需要加記錄X鎖,但是仍舊需要加GAP鎖,最后返回結(jié)束。
8 索引列上沒有索引,RR隔離級別
則鎖全表
這里需要重點(diǎn)說明insert 和delete的加鎖方式,因?yàn)槟壳坝龅降拇蟛糠职咐蛘卟糠蛛y以分析的案例都是和delete,insert 操作有關(guān)。
insert 的加鎖方式
對于并發(fā)insert造成唯一鍵沖突的時候 insert的加鎖策略是
第一階段 唯一性約束檢查,先申請LOCK_S + LOCK_ORDINARY
第二階段 獲取階段一的鎖并且insert成功之后,插入的位置有Gap鎖:LOCK_INSERT_INTENTION,為了防止其他insert 唯一鍵沖突。
新數(shù)據(jù)插入:LOCK_X + LOCK_REC_NOT_GAP
對于insert操作來說,若發(fā)生唯一約束沖突,則需要對沖突的唯一索引加上S Next-key Lock。從這里會發(fā)現(xiàn),即使是RC事務(wù)隔離級別,也同樣會存在Next-Key Lock鎖,從而阻塞并發(fā)。然而,文檔沒有說明的是,對于檢測到?jīng)_突的唯一索引,等待線程在獲得S Lock之后,還需要對下一個記錄進(jìn)行加鎖,在源碼中由函數(shù)row_ins_scan_sec_index_for_duplicate進(jìn)行判斷
引自 死鎖案例之三
delete 的加鎖方式
1 在非唯一索引的情況下,刪除一條存在的記錄是有g(shù)ap鎖,鎖住記錄本身和記錄之前的gap
2 在唯一索引和主鍵的情況下刪除一條存在的記錄,因?yàn)槎际俏ㄒ恢?,進(jìn)行刪除的時候,是不會有g(shù)ap存在
3 非唯一索引,唯一索引和主鍵在刪除一條不存在的記錄,均會在這個區(qū)間加gap鎖
4 通過非唯一索引和唯一索引去刪除一條標(biāo)記為刪除的記錄的時候,都會請求該記錄的行鎖,同時鎖住記錄之前的gap
5 RC 情況下是沒有g(shù)ap鎖的,除了遇到唯一鍵沖突的情況,如插入唯一鍵沖突。
引自文章 MySQL DELETE 刪除語句加鎖分析
六 死鎖案例
關(guān)于死鎖的案例不在本文做詳細(xì)分析,這里給出我做的幾個例子(后續(xù)會有其他案例分享),四個案例基本均和RR 模式下的gap鎖有關(guān)。
死鎖案例之一 delete申請gap鎖與insert 的gap鎖沖突導(dǎo)致死鎖
死鎖案例之二 并發(fā)delete不存在記錄申請gap鎖導(dǎo)致死鎖
死鎖案例之三 兩個事務(wù)并發(fā)insert 唯一鍵沖突 和gap鎖一起導(dǎo)致的死鎖案例
死鎖案例之四 三個并發(fā)insert 語句導(dǎo)致的死鎖
七 如何查看死鎖
1. 查看事務(wù)鎖等待狀態(tài)情況
select * from information_schema.innodb_locks;
select * from information_schema.innodb_lock_waits;
select * from information_schema.innodb_trx;
下面的查詢可以得到當(dāng)前狀況下數(shù)據(jù)庫的等待情況:via《innodb技術(shù)內(nèi)幕中》
select r.trx_id wait_trx_id,
r.trx_mysql_thread_id wait_thr_id,
r.trx_query wait_query,
b.trx_id block_trx_id,
b.trx_mysql_thread_id block_thrd_id,
b.trx_query block_query
from information_schema.innodb_lock_waits w
inner join information_schema.innodb_trx b on b.trx_id = w.blocking_trx_id
inner join information_schema.innodb_trx r on r.trx_id =w.requesting_trx_id
2. 打開下列參數(shù),獲取更詳細(xì)的事務(wù)和死鎖信息。
innodb_print_all_deadlocks = ON
innodb_status_output =ON
innodb_status_output_locks = ON
3. 查看innodb狀態(tài)(包含最近的死鎖日志)
show engine innodb status;
八 如何盡可能避免死鎖
1 事務(wù)隔離級別使用read committed和binlog_format=row ,避免RR模式帶來的gap鎖競爭。
2 合理的設(shè)計索引,區(qū)分度高的列放到組合索引前列,使業(yè)務(wù)sql盡可能的通過索引定位更少的行,減少鎖競爭。
3 調(diào)整業(yè)務(wù)邏輯 SQL執(zhí)行順序,避免update/delete 長時間持有鎖sql在事務(wù)前面,(該優(yōu)化視情況而定)
4 選擇合理的事務(wù)大小,小事務(wù)發(fā)生鎖沖突的幾率也更小;
5 訪問相同的表時,應(yīng)盡量約定以相同的順序訪問表,對一個表而言,盡可能以固定的順序存取表中的行。這樣可以大大減少死鎖的機(jī)會;
6 5.7.15 版本之后提供了新的功能 innodb_deadlock_detect 參數(shù),可以關(guān)閉死鎖檢測,提高并發(fā)TPS。
到此,相信大家對“MySQL的死鎖機(jī)制以及避免死鎖的方法”有了更深的了解,不妨來實(shí)際操作一番吧!這里是創(chuàng)新互聯(lián)網(wǎng)站,更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢,關(guān)注我們,繼續(xù)學(xué)習(xí)!