java中Flink集群搭建與運(yùn)行機(jī)制
這篇文章主要講解了“java中Flink集群搭建與運(yùn)行機(jī)制”，文中的講解內(nèi)容簡單清晰，易于學(xué)習(xí)與理解，下面請(qǐng)大家跟著小編的思路慢慢深入，一起來研究和學(xué)習(xí)“java中Flink集群搭建與運(yùn)行機(jī)制”吧！
創(chuàng)新互聯(lián)公司主要從事成都做網(wǎng)站、網(wǎng)站建設(shè)、外貿(mào)營銷網(wǎng)站建設(shè)、網(wǎng)頁設(shè)計(jì)、企業(yè)做網(wǎng)站、公司建網(wǎng)站等業(yè)務(wù)。立足成都服務(wù)米易,十余年網(wǎng)站建設(shè)經(jīng)驗(yàn),價(jià)格優(yōu)惠、服務(wù)專業(yè),歡迎來電咨詢建站服務(wù):18982081108
一、Flink概述
1、基礎(chǔ)簡介
Flink是一個(gè)框架和分布式處理引擎，用于對(duì)無界和有界數(shù)據(jù)流進(jìn)行有狀態(tài)計(jì)算。Flink被設(shè)計(jì)在所有常見的集群環(huán)境中運(yùn)行，以內(nèi)存執(zhí)行速度和任意規(guī)模來執(zhí)行計(jì)算。主要特性包括：批流一體化、精密的狀態(tài)管理、事件時(shí)間支持以及精確一次的狀態(tài)一致性保障等。Flink不僅可以運(yùn)行在包括YARN、Mesos、Kubernetes在內(nèi)的多種資源管理框架上，還支持在裸機(jī)集群上獨(dú)立部署。在啟用高可用選項(xiàng)的情況下，它不存在單點(diǎn)失效問題。
這里要說明兩個(gè)概念：
邊界：無邊界和有邊界數(shù)據(jù)流，可以理解為數(shù)據(jù)的聚合策略或者條件；
狀態(tài)：即執(zhí)行順序上是否存在依賴關(guān)系，即下次執(zhí)行是否依賴上次結(jié)果；
2、應(yīng)用場(chǎng)景
Data Driven
事件驅(qū)動(dòng)型應(yīng)用無須查詢遠(yuǎn)程數(shù)據(jù)庫，本地?cái)?shù)據(jù)訪問使得它具有更高的吞吐和更低的延遲，以反欺詐案例來看，DataDriven把處理的規(guī)則模型寫到DatastreamAPI中，然后將整個(gè)邏輯抽象到Flink引擎，當(dāng)事件或者數(shù)據(jù)流入就會(huì)觸發(fā)相應(yīng)的規(guī)則模型，一旦觸發(fā)規(guī)則中的條件后，DataDriven會(huì)快速處理并對(duì)業(yè)務(wù)應(yīng)用進(jìn)行通知。
Data Analytics
和批量分析相比，由于流式分析省掉了周期性的數(shù)據(jù)導(dǎo)入和查詢過程，因此從事件中獲取指標(biāo)的延遲更低。不僅如此，批量查詢必須處理那些由定期導(dǎo)入和輸入有界性導(dǎo)致的人工數(shù)據(jù)邊界，而流式查詢則無須考慮該問題，F(xiàn)link為持續(xù)流式分析和批量分析都提供了良好的支持，實(shí)時(shí)處理分析數(shù)據(jù)，應(yīng)用較多的場(chǎng)景如實(shí)時(shí)大屏、實(shí)時(shí)報(bào)表。
Data Pipeline
與周期性的ETL作業(yè)任務(wù)相比，持續(xù)數(shù)據(jù)管道可以明顯降低將數(shù)據(jù)移動(dòng)到目的端的延遲，例如基于上游的StreamETL進(jìn)行實(shí)時(shí)清洗或擴(kuò)展數(shù)據(jù)，可以在下游構(gòu)建實(shí)時(shí)數(shù)倉，確保數(shù)據(jù)查詢的時(shí)效性，形成高時(shí)效的數(shù)據(jù)查詢鏈路，這種場(chǎng)景在媒體流的推薦或者搜索引擎中十分常見。
二、環(huán)境部署
1、安裝包管理
[root@hop01 opt]# tar -zxvf flink-1.7.0-bin-hadoop27-scala_2.11.tgz [root@hop02 opt]# mv flink-1.7.0 flink1.7
2、集群配置
管理節(jié)點(diǎn)
[root@hop01 opt]# cd /opt/flink1.7/conf [root@hop01 conf]# vim flink-conf.yaml jobmanager.rpc.address: hop01
分布節(jié)點(diǎn)
[root@hop01 conf]# vim slaves hop02 hop03
兩個(gè)配置同步到所有集群節(jié)點(diǎn)下面。
3、啟動(dòng)與停止
/opt/flink1.7/bin/start-cluster.sh /opt/flink1.7/bin/stop-cluster.sh
啟動(dòng)日志：
[root@hop01 conf]# /opt/flink1.7/bin/start-cluster.sh Starting cluster. Starting standalonesession daemon on host hop01. Starting taskexecutor daemon on host hop02. Starting taskexecutor daemon on host hop03.
4、Web界面
訪問：http://hop01:8081/
三、開發(fā)入門案例
1、數(shù)據(jù)腳本
分發(fā)一個(gè)數(shù)據(jù)腳本到各個(gè)節(jié)點(diǎn)：
/var/flink/test/word.txt
2、引入基礎(chǔ)依賴
這里基于Java寫的基礎(chǔ)案例。
org.apache.flink flink-java 1.7.0 org.apache.flink flink-streaming-java_2.11 1.7.0
3、讀取文件數(shù)據(jù)
這里直接讀取文件中的數(shù)據(jù)，經(jīng)過程序流程分析出每個(gè)單詞出現(xiàn)的次數(shù)。
public class WordCount {
public static void main(String[] args) throws Exception {
// 讀取文件數(shù)據(jù)
readFile () ;
}
public static void readFile () throws Exception {
// 1、執(zhí)行環(huán)境創(chuàng)建
ExecutionEnvironment environment = ExecutionEnvironment.getExecutionEnvironment();
// 2、讀取數(shù)據(jù)文件
String filePath = "/var/flink/test/word.txt" ;
DataSet inputFile = environment.readTextFile(filePath);
// 3、分組并求和
DataSet> wordDataSet = inputFile.flatMap(new WordFlatMapFunction(
)).groupBy(0).sum(1);
// 4、打印處理結(jié)果
wordDataSet.print();
}
// 數(shù)據(jù)讀取個(gè)切割方式
static class WordFlatMapFunction implements FlatMapFunction> {
@Override
public void flatMap(String input, Collector> collector){
String[] wordArr = input.split(",");
for (String word : wordArr) {
collector.collect(new Tuple2<>(word, 1));
}
}
}
} 
4、讀取端口數(shù)據(jù)
在hop01服務(wù)上創(chuàng)建一個(gè)端口，并模擬一些數(shù)據(jù)發(fā)送到該端口：
[root@hop01 ~]# nc -lk 5566 c++,java
通過Flink程序讀取并分析該端口的數(shù)據(jù)內(nèi)容：
public class WordCount {
public static void main(String[] args) throws Exception {
// 讀取端口數(shù)據(jù)
readPort ();
}
public static void readPort () throws Exception {
// 1、執(zhí)行環(huán)境創(chuàng)建
StreamExecutionEnvironment environment = StreamExecutionEnvironment.getExecutionEnvironment();
// 2、讀取Socket數(shù)據(jù)端口
DataStreamSource inputStream = environment.socketTextStream("hop01", 5566);
// 3、數(shù)據(jù)讀取個(gè)切割方式
SingleOutputStreamOperator> resultDataStream = inputStream.flatMap(
new FlatMapFunction>()
{
@Override
public void flatMap(String input, Collector> collector) {
String[] wordArr = input.split(",");
for (String word : wordArr) {
collector.collect(new Tuple2<>(word, 1));
}
}
}).keyBy(0).sum(1);
// 4、打印分析結(jié)果
resultDataStream.print();
// 5、環(huán)境啟動(dòng)
environment.execute();
}
} 四、運(yùn)行機(jī)制
FlinkClient
客戶端用來準(zhǔn)備和發(fā)送數(shù)據(jù)流到JobManager節(jié)點(diǎn)，之后根據(jù)具體需求，客戶端可以直接斷開連接，或者維持連接狀態(tài)等待任務(wù)處理結(jié)果。
JobManager
在Flink集群中，會(huì)啟動(dòng)一個(gè)JobManger節(jié)點(diǎn)和至少一個(gè)TaskManager節(jié)點(diǎn)，JobManager收到客戶端提交的任務(wù)后，JobManager會(huì)把任務(wù)協(xié)調(diào)下發(fā)到具體的TaskManager節(jié)點(diǎn)去執(zhí)行，TaskManager節(jié)點(diǎn)將心跳和處理信息發(fā)送給JobManager。
TaskManager
任務(wù)槽（slot）是TaskManager中最小的資源調(diào)度單位，在啟動(dòng)的時(shí)候就設(shè)置好了槽位數(shù)，每個(gè)槽位能啟動(dòng)一個(gè)Task，接收J(rèn)obManager節(jié)點(diǎn)部署的任務(wù)，并進(jìn)行具體的分析處理。
五、源代碼地址
GitHub·地址 https://github.com/cicadasmile/big-data-parent GitEE·地址 https://gitee.com/cicadasmile/big-data-parent
感謝各位的閱讀，以上就是“java中Flink集群搭建與運(yùn)行機(jī)制”的內(nèi)容了，經(jīng)過本文的學(xué)習(xí)后，相信大家對(duì)java中Flink集群搭建與運(yùn)行機(jī)制這一問題有了更深刻的體會(huì)，具體使用情況還需要大家實(shí)踐驗(yàn)證。這里是創(chuàng)新互聯(lián)，小編將為大家推送更多相關(guān)知識(shí)點(diǎn)的文章，歡迎關(guān)注！
網(wǎng)站標(biāo)題：java中Flink集群搭建與運(yùn)行機(jī)制
當(dāng)前地址：http://m.jiaotiyi.com/article/iggidi.html