如何解決Debezium的坑

這篇文章將為大家詳細(xì)講解有關(guān)如何解決Debezium的坑，文章內(nèi)容質(zhì)量較高，因此小編分享給大家做個(gè)參考，希望大家閱讀完這篇文章后對(duì)相關(guān)知識(shí)有一定的了解。

創(chuàng)新互聯(lián)主要為客戶提供服務(wù)項(xiàng)目涵蓋了網(wǎng)頁(yè)視覺(jué)設(shè)計(jì)、VI標(biāo)志設(shè)計(jì)、全網(wǎng)營(yíng)銷推廣、網(wǎng)站程序開發(fā)、HTML5響應(yīng)式重慶網(wǎng)站建設(shè)公司、移動(dòng)網(wǎng)站建設(shè)、微商城、網(wǎng)站托管及網(wǎng)頁(yè)維護(hù)、WEB系統(tǒng)開發(fā)、域名注冊(cè)、國(guó)內(nèi)外服務(wù)器租用、視頻、平面設(shè)計(jì)、SEO優(yōu)化排名。設(shè)計(jì)、前端、后端三個(gè)建站步驟的完善服務(wù)體系。一人跟蹤測(cè)試的建站服務(wù)標(biāo)準(zhǔn)。已經(jīng)為茶樓設(shè)計(jì)行業(yè)客戶提供了網(wǎng)站開發(fā)服務(wù)。

Snapshot Reader 有點(diǎn)問(wèn)題。我們?cè)跍y(cè)試環(huán)境測(cè)試Snapshot 是OK的。

但是當(dāng)數(shù)據(jù)量變大，以及，數(shù)據(jù)量變多，Snapshot Reader反而 沒(méi)有達(dá)到預(yù)期的效果。

因此，我們將同步方案改為三步：

1. 開啟schema_only 同步

2. 5分鐘后，將數(shù)據(jù)庫(kù)Dump到一個(gè)臨時(shí)庫(kù)上面

3. 開啟java多線程進(jìn)行數(shù)據(jù)消費(fèi)，使用MySQL jdbc streaming 方式，把臨時(shí)庫(kù)上面的數(shù)據(jù)，寫入kudu。

4. 開啟Kafka-Connect 的kudu Sink，讓新的kafka 增刪改數(shù)據(jù)覆蓋原本的數(shù)據(jù)。

目前使用穩(wěn)定，繼續(xù)觀察。

關(guān)于如何解決Debezium的坑就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，可以學(xué)到更多知識(shí)。如果覺(jué)得文章不錯(cuò)，可以把它分享出去讓更多的人看到。

網(wǎng)頁(yè)標(biāo)題：如何解決Debezium的坑
文章URL：http://m.jiaotiyi.com/article/jhscip.html