Fluentd中如何配置高可用
這篇文章將為大家詳細講解有關(guān)Fluentd中如何配置高可用，文章內(nèi)容質(zhì)量較高，因此小編分享給大家做個參考，希望大家閱讀完這篇文章后對相關(guān)知識有一定的了解。
創(chuàng)新互聯(lián)公司專注于驛城網(wǎng)站建設(shè)服務(wù)及定制，我們擁有豐富的企業(yè)做網(wǎng)站經(jīng)驗。 熱誠為您提供驛城營銷型網(wǎng)站建設(shè)，驛城網(wǎng)站制作、驛城網(wǎng)頁設(shè)計、驛城網(wǎng)站官網(wǎng)定制、成都小程序開發(fā)服務(wù)，打造驛城網(wǎng)絡(luò)公司原創(chuàng)品牌,更為您提供驛城網(wǎng)站排名全網(wǎng)營銷落地服務(wù)。
對于高訪問量的web站點或者服務(wù)，我們可以采用Fluentd的高可用配置模式。
消息分發(fā)語義
Fluentd設(shè)計初衷主要是用作事件日志分發(fā)系統(tǒng)的。這類系統(tǒng)支持幾種不同的分發(fā)模式：
至多一次。消息被立即發(fā)送，若傳輸成功，該消息不會再被發(fā)送。發(fā)送失敗，則會導(dǎo)致消息丟失。現(xiàn)實環(huán)境下會有很多情況導(dǎo)致發(fā)送失敗，比如網(wǎng)絡(luò)暫時不可用。
至少一次。消息至少會被發(fā)送一次，若發(fā)送失敗，消息會被重發(fā)。這保證了消息不會被丟失，但可能導(dǎo)致接收端收到重復(fù)的消息。
精確只發(fā)一次。消息剛好發(fā)送一次，能確保送達且不會重復(fù)。這是大家所期望的分發(fā)模式。實現(xiàn)此模式可能需要采用同步化的日志處理方式，當(dāng)達到發(fā)送瓶頸時，告知業(yè)務(wù)層已無法接收更多的日志。
網(wǎng)絡(luò)拓撲
為使得Fluentd具備高可用性，典型的部署架構(gòu)需要包含兩種不同角色的Fluentd模塊：轉(zhuǎn)發(fā)器（forwarder）和聚合器（aggregator）。其拓撲結(jié)構(gòu)如下圖所示
轉(zhuǎn)發(fā)器部署在業(yè)務(wù)節(jié)點，用于收集業(yè)務(wù)方產(chǎn)生的本地日志事件，并將事件發(fā)送至聚合器。
聚合器持續(xù)地從轉(zhuǎn)發(fā)器接收日志，對日志進行緩存，并定期上傳日志到下一個處理方（典型的就是存儲）。
聚合器采用主備模式。如上圖，192.168.0.1為主，192.168.0.2為備。
轉(zhuǎn)發(fā)器配置
轉(zhuǎn)發(fā)器的典型配置如下所示：
# TCP input@type forwardport 24224# HTTP input@type httpport 8888# Log Forwarding@type forward# primary hosthost 192.168.0.1port 24224# use secondary hosthost 192.168.0.2port 24224standby# use longer flush_interval to reduce CPU usage.# note that this is a trade-off against latency.flush_interval 60s這里有兩個輸入源，使用forward插件將日志事件發(fā)送到兩個聚合器server中，其中通過standby指定192.168.0.2為備用聚合器。若兩個聚合器節(jié)點都不可用，日志將會緩存在轉(zhuǎn)發(fā)器節(jié)點。
聚合器配置
聚合器的典型配置如下所示：
# Input@type forwardport 24224# Output...這個比較簡單，使用forward插件作為輸入源。日志會在本地緩存，并通過重傳機制確保能送達目的地。
失敗場景提示
轉(zhuǎn)發(fā)失敗
轉(zhuǎn)發(fā)器收到應(yīng)用層的日志事件后，先將事件寫入本地磁盤緩存（由buffer_path指定）。每個flush_interval到來時，緩存事件被轉(zhuǎn)發(fā)至聚合器。
轉(zhuǎn)發(fā)器進程若發(fā)生崩潰，進程重啟后會自動重發(fā)已緩存的日志；轉(zhuǎn)發(fā)器和聚合器網(wǎng)絡(luò)若發(fā)生故障，轉(zhuǎn)發(fā)器也會對日志進行重傳。這在一定程度上保證了轉(zhuǎn)發(fā)器的健壯性。
但仍有一些情況可導(dǎo)致數(shù)據(jù)丟失：
轉(zhuǎn)發(fā)器收到業(yè)務(wù)層日志，在將日志寫入緩存之前發(fā)生崩潰
磁盤損壞
聚合失敗
聚合器采用和轉(zhuǎn)發(fā)器相同的失敗處理機制，失敗場景類似。
錯誤排查
采用此架構(gòu)進行部署時，有時候會遇到“no nodes are available”的錯誤提示。這可能是節(jié)點間網(wǎng)絡(luò)不通導(dǎo)致的。需要注意的是，節(jié)點之間通過24224端口傳輸數(shù)據(jù)，既使用TCP，也會使用UDP。
可通過以下命令進行檢查：
$ telnet host 24224$ nmap -p 24224 -sU host
為了在不影響業(yè)務(wù)性能的情況下收集大量的日志，日志層必須以異步的方式運行。因此，F(xiàn)luentd只提供了前兩種傳輸模式。
關(guān)于Fluentd中如何配置高可用就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，可以學(xué)到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。
名稱欄目：Fluentd中如何配置高可用
文章源于：http://m.jiaotiyi.com/article/jpjgco.html