當masterdown掉后pt-heartbeat不斷重試會導致內(nèi)存緩慢增長的原因及解決辦法
當master down掉后，pt-heartbeat不斷重試會導致內(nèi)存緩慢增長的原因及解決辦法，相信很多沒有經(jīng)驗的人對此束手無策，為此本文總結了問題出現(xiàn)的原因和解決方法，通過這篇文章希望你能解決這個問題。
創(chuàng)新互聯(lián)客戶idc服務中心，提供眉山聯(lián)通機房、成都服務器、成都主機托管、成都雙線服務器等業(yè)務的一站式服務。通過各地的服務中心，我們向成都用戶提供優(yōu)質(zhì)廉價的產(chǎn)品以及開放、透明、穩(wěn)定、高性價比的服務，資深網(wǎng)絡工程師在機房提供7*24小時標準級技術保障。
最近同事反映，在使用pt-heartbeat監(jiān)控主從復制延遲的過程中，如果master down掉了，則pt-heartbeat則會連接失敗，但會不斷重試。
重試本無可厚非，畢竟從使用者的角度來說，希望pt-heartbeat能不斷重試，直到重新連接上數(shù)據(jù)庫。但是，他們發(fā)現(xiàn)，不斷的重試會帶來內(nèi)存的緩慢增長。
重現(xiàn)
環(huán)境：
pt-heartbeat v2.2.19，MySQL社區(qū)版 v5.6.31，Perl v5.10.1，RHEL 6.7，內(nèi)存500M
為了避免數(shù)據(jù)庫啟停對pt-heartbeat內(nèi)存使用率的影響，故MySQL和pt-heartbeat分別運行在不同的主機上。
運行pt-heartbeat
# pt-heartbeat --update -h 192.168.244.10 -u monitor -p monitor123 -D test --create-table
監(jiān)控pt-heartbeat的內(nèi)存使用率
獲取pid
# ps -ef |grep pt-heartbeatroot 1505 1471 0 19:13 pts/0 00:00:08 perl /usr/local/bin/pt-heartbeat --update -h 192.168.244.10 -u monitor -p monitor123 -D test --create-tableroot 1563 1545 2 19:50 pts/3 00:00:00 grep pt-heartbeat
查看該進程的內(nèi)存使用率
# top -p 1505
運行了0:15.00（TIME+列），MEM一直穩(wěn)定在3.3%
現(xiàn)關閉數(shù)據(jù)庫
# service mysqld stop
剛才的pt-heartbeat命令不斷輸出以下信息
同樣CPU時間后，MEM增長到4.4%， 增長了1%，考慮到內(nèi)存500M，該進程的內(nèi)存占用增加了5M，雖然不是很多，但考慮到進程的內(nèi)存增加并沒有停止的意思，這個現(xiàn)象還是要引起注意的。
同時，通過pmap命令，發(fā)現(xiàn)，0000000001331000地址的RSS和Dirry也會增長，增長的速率是4k/s
后來研究pt-heartbeat的源碼，才發(fā)現(xiàn)代碼有點bug
my $tries = 2;while ( !$dbh && $tries-- ) {PTDEBUG && _d($cxn_string, ' ', $user, ' ', $pass,join(', ', map { "$_=>$defaults->{$_}" } keys %$defaults ));$dbh = eval { DBI->connect($cxn_string, $user, $pass, $defaults) };if ( !$dbh && $EVAL_ERROR ) {if ( $EVAL_ERROR =~ m/locate DBD\/mysql/i ) {die "Cannot connect to MySQL because the Perl DBD::mysql module is ". "not installed or not found. Run 'perl -MDBD::mysql' to see ". "the directories that Perl searches for DBD::mysql. If ". "DBD::mysql is not installed, try:\n". " Debian/Ubuntu apt-get install libdbd-mysql-perl\n". " RHEL/CentOS yum install perl-DBD-MySQL\n". " OpenSolaris pgk install pkg:/SUNWapu13dbd-mysql\n";}elsif ( $EVAL_ERROR =~ m/not a compiled character set|character set utf8/ ) {PTDEBUG && _d('Going to try again without utf8 support');delete $defaults->{mysql_enable_utf8};}if ( !$tries ) {die $EVAL_ERROR;}}}以上代碼摘自get_dbh函數(shù)，用于獲取數(shù)據(jù)庫的連接，如果獲取失敗，則重試1次，然后通過die函數(shù)拋異常退出。
但是，通過設置如下斷點，發(fā)現(xiàn)當$tries為0時，if函數(shù)里面的PTDEBUG && _d("$EVAL_ERROR")語句能執(zhí)行，但die函數(shù)就是沒有拋出異常，并退出腳本
PTDEBUG && _d($tries);if ( !$tries ) {PTDEBUG && _d("$EVAL_ERROR"); die $EVAL_ERROR; }后來，將上述代碼的最后一個if函數(shù)修改如下：
if ( !$tries ) {die "test:$EVAL_ERROR";}再次測試
啟動數(shù)據(jù)庫
# service mysqld start
執(zhí)行pt-heartbeat命令
# pt-heartbeat --update -h 192.168.244.10 -u monitor -p monitor123 -D test --create-table
停止數(shù)據(jù)庫
# service mysqld stop
剛才執(zhí)行的pt-heartbeat命令異常退出
“test:”就是加入的測試字符。
很奇怪，只是單純的die $EVAL_ERROR不會拋出異常，并退出腳本，但修改后的die "test:$EVAL_ERROR"卻會退出腳本。
很顯然，這確實是個bug，不知道是不是與perl的版本有關。
很好奇，失敗的連接如何導致內(nèi)存的不斷增長？
看完上述內(nèi)容，你們掌握當master down掉后，pt-heartbeat不斷重試會導致內(nèi)存緩慢增長的原因及解決辦法的方法了嗎？如果還想學到更多技能或想了解更多相關內(nèi)容，歡迎關注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝各位的閱讀！
本文標題：當masterdown掉后pt-heartbeat不斷重試會導致內(nèi)存緩慢增長的原因及解決辦法
文章網(wǎng)址：http://m.jiaotiyi.com/article/joheoh.html