proxmox+ceph集群安裝筆記
proxmox+ceph集群安裝筆記
創(chuàng)新互聯(lián)從2013年成立，先為昌樂等服務(wù)建站，昌樂等地企業(yè)，進(jìn)行企業(yè)商務(wù)咨詢服務(wù)。為昌樂企業(yè)網(wǎng)站制作PC+手機(jī)+微官網(wǎng)三網(wǎng)同步一站式服務(wù)解決您的所有建站問題。
1、創(chuàng)建3臺(tái)vmware虛擬機(jī)
cpu：2x2 4核 開虛擬化
內(nèi)存：2G
硬盤1：20G，系統(tǒng)盤
硬盤2：200G，ceph存儲(chǔ)盤
網(wǎng)絡(luò)：橋接模式
IP：10.8.20.11/12/13
主機(jī)名：pve1.abc.com/pve2.abc.com/pve3.abc.com
2、在pve1虛擬機(jī)上安裝proxmox，安裝在20g的硬盤上，默認(rèn)安裝即可
3、系統(tǒng)配置
1)更改為國(guó)內(nèi)源
安裝vim
apt update
apt install vim -y
安裝阿里云的源
cd /etc/apt
vi sources.list.d/pve-enterprise.list
修改為
deb http://download.proxmox.wiki/debian/pve buster pve-no-subscription
vi sources.list
修改為：
deb http://mirrors.aliyun.com/debian buster main contrib
deb http://mirrors.aliyun.com/debian buster-updates main contrib
#安全更新
deb http://mirrors.aliyun.com/debian-security/ buster/updates main contrib
更新系統(tǒng)
apt update
apt upgrade -y
init 6
2)去除web管理平臺(tái)的訂閱提示
sed -i "s/data.status !== 'Active'/false/g" /usr/share/javascript/proxmox-widget-toolkit/proxmoxlib.js
最后再執(zhí)行：systemctl restart pveproxy
3)不使用lvm-thin，將local也就是根分區(qū)擴(kuò)展
pve默認(rèn)安裝時(shí)，會(huì)建立local和local-lvm 大小分別為4.61G（根分區(qū)的lvm，存放iso）和8G（存放虛擬機(jī)）
下面要把8g的刪除，合并到4.61g
就是要把邏輯卷data刪除，邏輯卷root擴(kuò)展
修改pve的存儲(chǔ)配置
vi /etc/pve/storage.cfg
修改成：
dir: local
path /var/lib/vz
content rootdir,iso,vztmpl,backup
(刪除lvm-thin段)
刪除data所在的lv
lvremove /dev/pve/data（pve是卷組名 data是邏輯卷名）
查看卷組信息
vgs
VG #PV #LV #SN Attr VSize VFree
pve 1 2 0 wz--n- <19.50g 12.37g
還剩下12.37g
擴(kuò)展root邏輯卷
lvextend -L +12.37G /dev/pve/root
resize2fs /dev/pve/root
到web管理頁(yè)面上查看可以看到只剩下一個(gè)local，大小為16.79g。
4)登錄web管理頁(yè)面修改主機(jī)名與ip地址的對(duì)應(yīng)（這步可以不做）
pve1->系統(tǒng)->主機(jī)，添加以下2行
10.8.20.12 pve2.abc.com pve2
10.8.20.13 pve3.abc.com pve3
以上就安裝配置好了pve1的主機(jī)。
在pve2和pve3上重復(fù)以上操作即可。
4、建立pve集群
pve1上執(zhí)行：
pvecm create pve-cluster（pve-cluster是集群名）
pve2、pve3執(zhí)行：
pvecm add 10.8.20.11
在pve1上查看集群狀態(tài)
pvecm status
pvecm nodes
5、建立ceph存儲(chǔ)集群（存放虛擬機(jī)鏡像，另外iso的存儲(chǔ)使用nfs）
1)安裝ceph(所有節(jié)點(diǎn)上面均執(zhí)行)
pveceph install （后面不加版本號(hào)是安裝最新的nautilus版）
出現(xiàn)以下字樣表示安裝成功
installed ceph nautilus successfully
2)建立ceph集群網(wǎng)絡(luò)，為了簡(jiǎn)便，這里和管理網(wǎng)絡(luò)共用(所有節(jié)點(diǎn)上面均執(zhí)行)
pveceph init -network 10.8.20.0/24
3)創(chuàng)建ceph集群存儲(chǔ)Mon監(jiān)控(所有節(jié)點(diǎn)上面均執(zhí)行)
pveceph createmon
4)創(chuàng)建ceph集群存儲(chǔ)OSD服務(wù)(所有節(jié)點(diǎn)上面均執(zhí)行)
pveceph createosd /dev/sdb
5)創(chuàng)建集群存儲(chǔ)資源池
ceph osd pool create pve-pool 128 128(只在pve1上面執(zhí)行，pve-pool?是存儲(chǔ)池名)，
128(pg_num)的由來：
少于 5 個(gè) OSD 時(shí)可把?pg_num?設(shè)置為 128
OSD 數(shù)量在 5 到 10 個(gè)時(shí)，可把?pg_num?設(shè)置為 512
OSD 數(shù)量在 10 到 50 個(gè)時(shí)，可把?pg_num?設(shè)置為 4096
6)登錄pve1的web管理頁(yè)面，添加RBD集群存儲(chǔ)
數(shù)據(jù)中心->存儲(chǔ)->添加->選擇RBD
ID：填寫為pve-ceph
資源池：pve-pool
Monitor：10.8.20.11 10.8.20.12?10.8.20.13 （注意添加多個(gè)Mon以空格隔開）
添加節(jié)點(diǎn)：pve1，pve2，pve3
添加好后，查看rbd集群存儲(chǔ)配置信息
cat /etc/pve/storage.cfg
dir: local
path /var/lib/vz
content vztmpl,images,backup,iso,rootdir
rbd: pve-ceph
content rootdir,images
krbd 1
nodes pve3,pve2,pve1
pool pve-pool
7)檢查相關(guān)密鑰是否存在
cd /etc/pve/priv
看有沒有ceph目錄，沒有的話就創(chuàng)建，并復(fù)制密鑰進(jìn)來
mkdir ceph
cp /etc/ceph/ceph.client.admin.keyring /etc/pve/priv/ceph/ceph.keyring
一般來說是存在的：
root@pve1:/etc/pve/priv# cd ceph
root@pve1:/etc/pve/priv/ceph# ls
pvecluster-ceph.keyring
8)賦予應(yīng)用相關(guān)權(quán)限
ceph osd pool application enable pve-pool rgw?rbd
9)安裝ceph Dashboard
pve1上執(zhí)行
apt install ceph-mgr-dashboard
ceph mgr module enable dashboard
ceph dashboard create-self-signed-cert
ceph dashboard ac-user-create?admin?admin123 administrator（admin是用戶名，admin123是密碼，administrator是指定該用戶是管理員）
systemctl restart ceph-mgr@pve1.service
訪問https://10.8.20.11:8443，使用用戶名admin密碼admin123登錄即可
至此，ceph安裝完成
6、安裝nfs服務(wù)器，提供iso存儲(chǔ)
安裝一臺(tái)centos服務(wù)器，啟用nfs服務(wù)
假設(shè)nfs的輸出目錄是這臺(tái)centos上的/data/nfs目錄
yum install rpcbind nfs-utils -y
vi /etc/exports
加入：
/data/nfs 10.8.20.0/24(rw,sync,no_root_squash)
啟動(dòng)nfs服務(wù)
systemctl?enable?rpcbind nfs-server
systemctl start rpcbind nfs-server（centos7）
查看共享目錄
exportfs
激活配置
exportfs -rav
最后在pve集群上添加nfs存儲(chǔ)
pve1web管理頁(yè)面：數(shù)據(jù)中心->存儲(chǔ)->添加->選擇nfs
添加好后可以上傳iso文件，會(huì)存放在centos服務(wù)器的/data/nfs/template/iso目錄下
7、安裝虛擬機(jī)測(cè)試集群，虛擬機(jī)硬盤選擇存放在pve-ceph存儲(chǔ)下才可以使用遷移和HA功能
我的技術(shù)博客：秋天的回憶
網(wǎng)站標(biāo)題：proxmox+ceph集群安裝筆記
轉(zhuǎn)載注明：http://m.jiaotiyi.com/article/iijods.html