從新建linux虛擬機(jī)到搭建zookeeper+kafka詳細(xì)版-創(chuàng)新互聯(lián)

虛擬linux系統(tǒng)
- 一.安裝虛擬機(jī)
- 二.創(chuàng)建虛擬機(jī)
- 三. 配置網(wǎng)絡(luò)
- 四. 搭建集群準(zhǔn)備工作
安裝jdk
- 1. 檢查是否已安裝openjdk
- 2. 下載
- 3. 上傳安裝包
- 4. 解壓
- 5. 修改環(huán)境變量
- 6. 檢測是否配置成功
搭建zookeeper集群
- 1. 下載
- 2. 上傳
- 3. 解壓
- 4. 配置zk1
- 5. 啟動(dòng)集群
- 6. 查看啟動(dòng)狀態(tài)
- - Error contacting service. It is probably not running
搭建kafka集群
- 1. 下載
- 2. 上傳
- 3. 解壓
- 4. 更改文件夾名稱
- 5. 新建logs文件夾
- 6. 修改配置文件
- 7. 將修改后的文件擴(kuò)展到computer02和computer03
- 8. 啟動(dòng)kafka
使用kafka
- 1. 創(chuàng)建topic

創(chuàng)新互聯(lián)主營安康網(wǎng)站建設(shè)的網(wǎng)絡(luò)公司,主營網(wǎng)站建設(shè)方案,重慶App定制開發(fā),安康h5微信平臺小程序開發(fā)搭建,安康網(wǎng)站營銷推廣歡迎安康等地區(qū)企業(yè)咨詢虛擬linux系統(tǒng) 一.安裝虛擬機(jī)

VMware軟件下載地址：https://www.vmware.com/cn/products/workstation-pro/workstation-pro-evaluation.html
按照步驟依次點(diǎn)擊下一步即可，只有一點(diǎn)需要注意，請不要將VM安裝默認(rèn)C盤，后續(xù)本機(jī)電腦可能會卡頓，建議安裝到除C盤外的任意一盤
CentOS 7 下載映像文件地址：http://mirrors.aliyun.com/centos/7/isos/x86_64/
選擇CentOS-7-x86_64-DVD-2009.iso

二.創(chuàng)建虛擬機(jī)

創(chuàng)建新的虛擬機(jī)
選擇典型配置（自定義有些麻煩，只是自己學(xué)習(xí)搭個(gè)系統(tǒng)沒有必要）

2.選擇映射文件
因?yàn)槲疫@里是先建的虛擬機(jī)，后下載的centos，所以選擇了稍后安裝，如果你提前下載好了，可以直接選擇安裝的映射文件
選擇創(chuàng)建虛擬機(jī)的操作系統(tǒng)
自定義虛擬機(jī)名字和位置
選擇磁盤大小：40
點(diǎn)擊完成
刪除一些不用的插件，增加內(nèi)存空間（聲卡和打印器）
添加iso映射文件
啟動(dòng)虛擬機(jī)，等待安裝完成
選擇語言
安裝位置
設(shè)置密碼（自定義，但root或者123456這類過于簡單的密碼是不可以的）

三. 配置網(wǎng)絡(luò)

由于配置網(wǎng)絡(luò)步驟過于繁復(fù)，此篇文章不再贅述，有需要請移步另一篇文章~
虛擬機(jī)linux系統(tǒng)與本機(jī)網(wǎng)絡(luò)互通

四. 搭建集群準(zhǔn)備工作

由于kafka與zookeeper集群至少需要三臺機(jī)器，所以需要搭建三臺虛擬機(jī)，但無需將前幾步配置三次，只需要配置一次之后復(fù)制一下就可以啦~
注意：復(fù)制虛擬機(jī)的時(shí)候需要先將虛擬機(jī)關(guān)機(jī)再復(fù)制

點(diǎn)擊克隆之后一直點(diǎn)擊下一步，直到選擇克隆方法“創(chuàng)建完整克隆”
computer2和computer3從computer1復(fù)制完之后，需要分別修改一下ifcfg-ens33中的IPADDR，分別將后綴改為11,12,13，為后續(xù)操作方便

安裝jdk 1. 檢查是否已安裝openjdk

rpm -qa|grep jdk

如果已經(jīng)安裝openjdk，需要先卸載，再安裝jdk，卸載命令如下

yum -y remove

2. 下載

下載地址：https://www.oracle.com/java/technologies/downloads/#java8
在這里插入圖片描述

3. 上傳安裝包

新建java目錄

cd /usr/local
mkdir java

上傳部分由于我是用終端軟件上傳，并沒有用VM操作，所以沒有什么參考價(jià)值，大家看自己習(xí)慣來就好啦~

4. 解壓

tar -zxvf jdk-8u351-linux-i586.tar.gz

5. 修改環(huán)境變量

sudo vi /etc/profile

在文件下面增加以下內(nèi)容，其中JAVA_HOME的路徑需要替換成自己的路徑

export JAVA_HOME=/usr/local/java/jdk1.8.0_351
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

修改之后需要執(zhí)行以下命令讓配置生效

source /etc/profile

6. 檢測是否配置成功

java -version

如果失敗，出現(xiàn)報(bào)錯(cuò)：
-bash: bin/java: /lib/ld-linux.so.2: bad ELF interpreter: 沒有那個(gè)文件或目錄
則可以運(yùn)行以下命令，問題就可以消除

sudo yum install glibc.i686

搭建zookeeper集群 1. 下載

下載地址：https://archive.apache.org/dist/zookeeper/zookeeper-3.5.5/
在這里插入圖片描述
注意：一定要注意后綴，千萬不要下載錯(cuò)了，處處是坑?。?！

2. 上傳

新建zookeeper目錄

cd /usr/local
mkdir zookeeper

上傳過程同上節(jié)

3. 解壓

tar -zxvf apache-zookeeper-3.5.5-bin.tar.gz

4. 配置zk1

step1：更改文件夾名稱（更好的區(qū)分三個(gè)服務(wù)器，不改也行，只是看著不舒服）

mv apache-zookeeper-3.5.5-bin zk1

step2：新建data和logs，用于存放數(shù)據(jù)和日志

cd /usr/local/zookeeper/zk1
mkdir data logs

step3：更改zoo_sample.cfg文件名稱

cd /usr/local/zookeeper/zk1/conf
mv zoo_sample.cfg zoo.cfg

step4：修改zoo.cfg文件

vi zoo.cfg

修改以下內(nèi)容：

①
dataDir=/usr/local/zookeeper/zk1/data
dataLogDir=/usr/local/zookeeper/zk1/logs	#如果這一行沒有就在dataDir下面新增
②
clientPort=2181	#這是客戶端的請求端口號，需要記住

在文件下面添加以下內(nèi)容

server.1=192.168.227.11:2881:3881
server.2=192.168.227.12:2882:3882
server.3=192.168.227.13:2883:3883

注意：添加的ip分別為三臺虛擬機(jī)的ip，后面的端口也是防火墻需要打開的端口，不然無法徹底實(shí)現(xiàn)集群內(nèi)部的網(wǎng)絡(luò)互通
具體如何開放端口，請看Linux常用語句->防火墻部分
所涉及到的端口：
computer1:2181/2881/3881
computer2:2183/2882/3882
computer3:2183/2883/3883
檢測是否防火墻已成功開啟端口

telnet 192.168.227.12 3882

step5：將修改好的zoo.cfg文件復(fù)制到computer2和computer3中，需要對應(yīng)修改的部分如下
在這里插入圖片描述
zk1 ->zk2 zk3
2181 ->2182 2183
step6：data 目錄下創(chuàng)建一個(gè) myid 文件，內(nèi)容為1

cd /usr/local/zookeeper/zk1/data
echo 1 >myid

computer1和computer2也相同操作

5. 啟動(dòng)集群

cd /usr/local/zookeeper/zk1/bin
./zkServer.sh start

cd /usr/local/zookeeper/zk2/bin
./zkServer.sh start

cd /usr/local/zookeeper/zk3/bin
./zkServer.sh start

6. 查看啟動(dòng)狀態(tài)

cd /usr/local/zookeeper/zk1/bin
./zkServer.sh status

cd /usr/local/zookeeper/zk2/bin
./zkServer.sh status

cd /usr/local/zookeeper/zk3/bin
./zkServer.sh status

Error contacting service. It is probably not running

ps：這里我出現(xiàn)了一個(gè)錯(cuò)誤：
在這里插入圖片描述
解決思路：
需要telnet ip 端口，看是否通，首先確認(rèn)本機(jī)和虛擬機(jī)之間能telnet通，然后確認(rèn)虛擬機(jī)和虛擬機(jī)之間能telnet通，然后執(zhí)行“./zkServer.sh restart”，即可解決

成功的狀態(tài)：
在這里插入圖片描述

搭建kafka集群 1. 下載

下載網(wǎng)址：https://kafka.apache.org/downloads
在這里插入圖片描述

2. 上傳

新建kafka目錄

cd /usr/local
mkdir kafka

3. 解壓

tar -zxvf kafka_2.12-3.3.1.tgz

4. 更改文件夾名稱

mv kafka-3.3.1-src kafka

5. 新建logs文件夾

cd /usr/local/kafka/kafka
mkdir logs

6. 修改配置文件

vi /usr/local/kafka/kafka/config/server.properties

修改如下配置

①
broker.id=0  #集群里需要用不用的id號
②
listeners=PLAINTEXT://192.168.227.12:9092
③
log.dirs=/usr/local/kafka/kafka/logs
④
zookeeper.connection=192.168.227.11:2181,192.168.227.12:2182,192.168.227.13:2183
⑤
delete.topic.enable=true

7. 將修改后的文件擴(kuò)展到computer02和computer03 8. 啟動(dòng)kafka

cd /usr/local/kafka/kafka/bin
./kafka-server-start.sh ../config/server.properties

在這里插入圖片描述
啟動(dòng)成功之后是一個(gè)阻塞進(jìn)程，需要打開新的窗口操作

使用kafka 1. 創(chuàng)建topic

后續(xù)持續(xù)更新中~

你是否還在尋找穩(wěn)定的海外服務(wù)器提供商？創(chuàng)新互聯(lián)www.cdcxhl.cn海外機(jī)房具備T級流量清洗系統(tǒng)配攻擊溯源，準(zhǔn)確流量調(diào)度確保服務(wù)器高可用性，企業(yè)級服務(wù)器適合批量采購，新人活動(dòng)首月15元起，快前往官網(wǎng)查看詳情吧

網(wǎng)站名稱：從新建linux虛擬機(jī)到搭建zookeeper+kafka詳細(xì)版-創(chuàng)新互聯(lián)
鏈接URL：http://m.jiaotiyi.com/article/hdchi.html

網(wǎng)站建設(shè)知識

從新建linux虛擬機(jī)到搭建zookeeper+kafka詳細(xì)版-創(chuàng)新互聯(lián)

其他資訊