MFS分布式文件系統(tǒng)原理及環(huán)境搭建

傳統(tǒng)NFS存儲缺點分析：

幾臺web服務(wù)器通過NFS共享一個存儲，在業(yè)務(wù)功能上可以滿足需求，但在性能與容量上,NFS無法勝任更高的要求，隨著業(yè)務(wù)量的增加，經(jīng)常出現(xiàn)超時的問題，而且NFS存在著單點故障的問題，盡管可以用rsync同步數(shù)據(jù)到另外一臺服務(wù)器上做備份但對提高整個系統(tǒng)的性能并無幫助。

MFS：分布式文件系統(tǒng)介紹：

在秀山土家族苗族等地區(qū)，都構(gòu)建了全面的區(qū)域性戰(zhàn)略布局，加強發(fā)展的系統(tǒng)性、市場前瞻性、產(chǎn)品創(chuàng)新能力，以專注、極致的服務(wù)理念，為客戶提供成都網(wǎng)站制作、成都網(wǎng)站設(shè)計、外貿(mào)營銷網(wǎng)站建設(shè) 網(wǎng)站設(shè)計制作按需制作網(wǎng)站,公司網(wǎng)站建設(shè),企業(yè)網(wǎng)站建設(shè),品牌網(wǎng)站設(shè)計,營銷型網(wǎng)站,外貿(mào)網(wǎng)站建設(shè),秀山土家族苗族網(wǎng)站建設(shè)費用合理。

MFS是一個具有容錯性的網(wǎng)絡(luò)分布式文件系統(tǒng)，它把數(shù)據(jù)分散存放在多個物理服務(wù)器上，而呈現(xiàn)給用戶的則是一個統(tǒng)一整合的資源。

MFS是一個具有容錯功能的，高可用，可擴展的海量級分布式文件系統(tǒng)；
MFS把數(shù)據(jù)分散在多臺服務(wù)器上，單用戶看到的只是一個源；
數(shù)據(jù)訪問不再是一對多的關(guān)系，而是多對多，相較NFS性能大幅度提升；
包含了層級結(jié)構(gòu)和文件屬性，可以創(chuàng)建特殊的文件（塊設(shè)備，字符設(shè)備，管道，套接字），符號鏈接和硬鏈接。

分布式原理：

分布式文件系統(tǒng)（distributed file system）是指文件系統(tǒng)管理的物質(zhì)存儲資源不一定直接連接在本地節(jié)點上，而是通過計算機網(wǎng)絡(luò)與節(jié)點相連。簡單說就是把一些分布在局域網(wǎng)內(nèi)各個計算機上的共享文件夾，集合到一個虛擬共享文件夾內(nèi)，客戶端訪問只需要打開這個虛擬共享文件夾，就可以看到所有鏈接到虛擬共享文件夾內(nèi)的共享文件，用戶感覺不到這些共享文件是分散于各個計算機上的。分布式文件系統(tǒng)的優(yōu)點：集中訪問、簡化操作、數(shù)據(jù)容災(zāi)、提高了文件的存儲性能。

`MFS文件系統(tǒng)的組成：`

元數(shù)據(jù)服務(wù)器（Master）:在整個體系中負責(zé)管理文件系統(tǒng)，維護元數(shù)據(jù)。

元數(shù)據(jù)日志服務(wù)器（MetaLogger）:備份Master服務(wù)器的變化日志文件，文件類型為changelog_ml.*.mfs 當(dāng)Master服務(wù)器數(shù)據(jù)丟失或者損壞時，可以從日志服務(wù)器中取得進行恢復(fù)。
數(shù)據(jù)存儲服務(wù)器（Chunk server）:真正存儲數(shù)據(jù)的服務(wù)器。將文件分塊保存，并相互進行復(fù)制。
客戶端（Client）:可以像掛載NFS一樣掛載MFS文件系統(tǒng)，其操作是相同的。

MFS文件系統(tǒng)的組成架構(gòu)如下圖所示：

MFS分布式文件系統(tǒng)原理及環(huán)境搭建

MFS讀取數(shù)據(jù)的處理過程：

客戶端向元數(shù)據(jù)服務(wù)器發(fā)出讀請求;
元數(shù)據(jù)服務(wù)器把所需數(shù)據(jù)存放的位置（Chunk server的IP地址和Chunk編號）告知客戶端.

客戶端向已知的Chunk server請求發(fā)送數(shù)據(jù)。
Chunk server向客戶端發(fā)送數(shù)據(jù)。

MFS寫入數(shù)據(jù)的處理過程：

客戶端向元數(shù)據(jù)服務(wù)器發(fā)送寫入請求。
元數(shù)據(jù)服務(wù)器與Chunk server進行交互，但元數(shù)據(jù)服務(wù)器只在某些服務(wù)器創(chuàng)建新的分塊Chunks,創(chuàng)建成功后由Chunk server告知元數(shù)據(jù)服務(wù)器操作成功。
元數(shù)據(jù)服務(wù)器告知客戶端，可以在哪個Chunk server的哪些Chunks寫入數(shù)據(jù)。
客戶端向指定的Chunk server寫入數(shù)據(jù)。
該Chunk server與其他Chunk server進行數(shù)據(jù)同步，同步成功后Chunk server告知客戶端數(shù)據(jù)寫入成功。
客戶端告知元數(shù)據(jù)服務(wù)器本次寫入完畢。

實驗環(huán)境介紹

主機
IP地址
安裝軟件包
操作系統(tǒng)
Master Server
192.168.30.55
mfs-1.6.27-5.tar.gz
CentOS7
MetaLogger Server
192.168.30.10
mfs-1.6.27-5.tar.gz
CentOS7
Chunk Server1
192.168.30.4
mfs-1.6.27-5.tar.gz
CentOS7
Chunk Server2
192.168.30.5
mfs-1.6.27-5.tar.gz
CentOS7
Client
192.168.30.6
mfs-1.6.27-5.tar.gz，fuse-2.9.2.tar.gz
CentOS7

實驗部署

首先分別在這幾個實驗主機上關(guān)閉防火墻，selinux

systemctl stop firewalld.service
setenforce 0

一，搭建Master Server

yum安裝編譯環(huán)境包

yum install -y zlib-devel gcc gcc-c++

創(chuàng)建運行用戶mfs

useradd mfs -s /sbin/nologin

安裝源碼包

tar zxvf mfs-1.6.27-5.tar.gz     #解壓源碼包
cd mfs-1.6。27/
./configure \
--prefix=/usr/local/mfs \           #指定安裝路徑
--with-default-user=mfs \            #指定運行用戶，組為mfs
--with-default-group=mfs \
--disable-mfschunkserver \           #關(guān)閉節(jié)點功能
--disable-mfsmount                         #關(guān)閉掛載
make && make install

復(fù)制配置文件

在Master上需要用到的配置文件有兩個：mfsmaster.cfg（主配置文件）和mfsexports.cfg（被掛載目錄及權(quán)限配置文件）
cd /usr/local/mfs/etc/mfs/
cp mfsexports.cfg.dist mfsexports.cfg
cp mfsmaster.cfg.dist mfsmaster.cfg
cp mfsmetalogger.cfg.dist mfsmetalogger.cfg
cd /usr/local/mfs/var/mfs/
cp metadata.mfs.empty metadata.mfs
不需要對配置文件做任何修改就可以開始工作

啟動Master Server

/usr/local/mfs/sbin/mfsmaster start
ps aux | grep mfs
停止Master Server的命令
/usr/local/mfs/sbin/mfsmaster -s

二，搭建MetaLogger Server

yum安裝編譯環(huán)境包

yum install -y zlib-devel gcc gcc-c++

創(chuàng)建運行用戶mfs

useradd mfs -s /sbin/nologin

安裝源碼包

tar zxvf mfs-1.6.27-5.tar.gz     #解壓源碼包
cd mfs-1.6。27/
./configure \
--prefix=/usr/local/mfs \           #指定安裝路徑
--with-default-user=mfs \            #指定運行用戶，組為mfs
--with-default-group=mfs \
--disable-mfschunkserver \           #關(guān)閉節(jié)點功能
--disable-mfsmount                         #關(guān)閉掛載
make && make install

復(fù)制配置文件

cd /usr/local/mfs/etc/mfs/
cp mfsmetalogger.cfg.dist mfsmetalogger.cfg

修改配置文件

vi mfsmetalogger.cfg
..............
MASTER_HOST = 192.168.30.55
..................

啟動服務(wù)

/usr/local/mfs/sbin/mfsmetalogger start

三，搭建chunk Server（兩臺節(jié)點服務(wù)配置一樣）

yum安裝編譯環(huán)境包

yum install -y zlib-devel gcc gcc-c++

創(chuàng)建運行用戶mfs

useradd mfs -s /sbin/nologin

安裝源碼包

tar zxvf mfs-1.6.27-5.tar.gz     #解壓源碼包
cd mfs-1.6。27/
./configure \
--prefix=/usr/local/mfs \           #指定安裝路徑
--with-default-user=mfs \            #指定運行用戶，組為mfs
--with-default-group=mfs \
--disable-mfsmaster \           #關(guān)閉master功能
--disable-mfsmount                         #關(guān)閉掛載
make && make install

復(fù)制配置文件

cd /usr/local/mfs/etc/mfs/
cp mfschunkserver.cfg.dist mfschunkserver.cfg
cp mfshdd.cfg.dist mfshdd.cfg

修改配置文件

vi mfschunkserver.cfg
MASTER_HOST = 192.168.30.55

實際生產(chǎn)環(huán)境需要單獨提供磁盤陣列作為專門的MFS存儲目錄，這里只是進行實驗，所以使用一個單獨的目錄代替
vi mfshdd.cfg
/data

mkdir / data
chown -R mfs:mfs /data

啟動服務(wù)

/usr/local/mfs/sbin/mfschunkserver start
ps aux | grep mfs

四，客戶端client配置

yum安裝編譯環(huán)境包

yum install -y zlib-devel gcc gcc-c++

創(chuàng)建運行用戶mfs

useradd mfs -s /sbin/nologin

安裝mfs源碼包之前安裝fuse插件，MFS客戶端依賴于fuse

tar xzvf fuse-2.9.2.tar.gz
cd fuse-2.9.2
./configure
make && make install

設(shè)置環(huán)境變量

echo "export PKG_CONFIG_PATH=/usr/local/lib/pkgconfig:$PKG_CONFIG_PATH" >>/etc/profile
source /etc/profile

安裝mfs源碼包客戶端

tar zxvf mfs-1.6.27-5.tar.gz     #解壓源碼包
cd mfs-1.6。27/
./configure \
--prefix=/usr/local/mfs \           #指定安裝路徑
--with-default-user=mfs \            #指定運行用戶，組為mfs
--with-default-group=mfs \
--disable-mfsmaster \           #關(guān)閉master功能
--disable-mfschunkserver \       #關(guān)閉節(jié)點功能
--enable-mfsmount                         #關(guān)閉掛載
make && make install

掛載MFS文件系統(tǒng)

mkdir /opt/mfs               //創(chuàng)建掛載點
modprobe fuse          //加載fuse模塊到內(nèi)核//
/usr/local/mfs/bin/mfsmount /opt/mfs -H 192.168.30.55    掛載MFS
df -hT      查看掛載情況

如果要卸載，使用umount /opt/mfs即可。

優(yōu)化客戶端

echo "export PATH=/usr/local/mfs/bin:$PATH" >>/etc/profile
source /etc/profile

MFS常用操作

MFS在客戶端安裝完畢后，會生成/usr/local/mfs/bin目錄，在這個目錄下有很多命令，

mfsgetgoal：用來查詢文件被復(fù)制的份數(shù)，利用-r選項可以對整個目錄進行遞歸，goal是指文件被復(fù)制的份數(shù)
mfssetgoal：設(shè)置文件被恢復(fù)的份數(shù)，生產(chǎn)環(huán)境中chunk server節(jié)點數(shù)量應(yīng)至少大于2，文件副本數(shù)小于等于chunk server服務(wù)器的數(shù)量

mfsgetgoal -r /opt/mfs
mfssetgoal -r 2 /opt/mfs/
echo abc123 >/opt/mfs/test1

在chunk server上可以查看存儲的文件單元

所有配置工作做好了

五，在Master Server上啟動監(jiān)控

Mfscgiserv是用python編寫的一個web服務(wù)器，其監(jiān)聽端口是9425，可以在master server上通過命令/usr/local/mfs/sbin/mfscgiserv來啟動，用戶利用瀏覽器就可以全面監(jiān)控所有客戶掛載，chunk server，master server，以及客戶端的各種操作等

/usr/local/mfs/sbin/mfscgiserv

通過瀏覽器訪問http://192.168.30.55:9425

網(wǎng)站題目：MFS分布式文件系統(tǒng)原理及環(huán)境搭建
文章出自：http://m.jiaotiyi.com/article/ggepdp.html

主機	IP地址	安裝軟件包	操作系統(tǒng)
Master Server	192.168.30.55	mfs-1.6.27-5.tar.gz	CentOS7
MetaLogger Server	192.168.30.10	mfs-1.6.27-5.tar.gz	CentOS7
Chunk Server1	192.168.30.4	mfs-1.6.27-5.tar.gz	CentOS7
Chunk Server2	192.168.30.5	mfs-1.6.27-5.tar.gz	CentOS7
Client	192.168.30.6	mfs-1.6.27-5.tar.gz，fuse-2.9.2.tar.gz	CentOS7

網(wǎng)站建設(shè)知識

MFS分布式文件系統(tǒng)原理及環(huán)境搭建

傳統(tǒng)NFS存儲缺點分析：

MFS：分布式文件系統(tǒng)介紹：

MFS是一個具有容錯性的網(wǎng)絡(luò)分布式文件系統(tǒng)，它把數(shù)據(jù)分散存放在多個物理服務(wù)器上，而呈現(xiàn)給用戶的則是一個統(tǒng)一整合的資源。

MFS是一個具有容錯功能的，高可用，可擴展的海量級分布式文件系統(tǒng)；

MFS把數(shù)據(jù)分散在多臺服務(wù)器上，單用戶看到的只是一個源；

數(shù)據(jù)訪問不再是一對多的關(guān)系，而是多對多，相較NFS性能大幅度提升；

包含了層級結(jié)構(gòu)和文件屬性，可以創(chuàng)建特殊的文件（塊設(shè)備，字符設(shè)備，管道，套接字），符號鏈接和硬鏈接。

分布式原理：

MFS文件系統(tǒng)的組成：

元數(shù)據(jù)服務(wù)器（Master）:在整個體系中負責(zé)管理文件系統(tǒng)，維護元數(shù)據(jù)。

元數(shù)據(jù)日志服務(wù)器（MetaLogger）:備份Master服務(wù)器的變化日志文件，文件類型為changelog_ml.*.mfs 當(dāng)Master服務(wù)器數(shù)據(jù)丟失或者損壞時，可以從日志服務(wù)器中取得進行恢復(fù)。

數(shù)據(jù)存儲服務(wù)器（Chunk server）:真正存儲數(shù)據(jù)的服務(wù)器。將文件分塊保存，并相互進行復(fù)制。

客戶端（Client）:可以像掛載NFS一樣掛載MFS文件系統(tǒng)，其操作是相同的。

MFS文件系統(tǒng)的組成架構(gòu)如下圖所示：

MFS讀取數(shù)據(jù)的處理過程：

客戶端向元數(shù)據(jù)服務(wù)器發(fā)出讀請求;

元數(shù)據(jù)服務(wù)器把所需數(shù)據(jù)存放的位置（Chunk server的IP地址和Chunk編號）告知客戶端.

客戶端向已知的Chunk server請求發(fā)送數(shù)據(jù)。

Chunk server向客戶端發(fā)送數(shù)據(jù)。

MFS寫入數(shù)據(jù)的處理過程：

客戶端向元數(shù)據(jù)服務(wù)器發(fā)送寫入請求。

元數(shù)據(jù)服務(wù)器與Chunk server進行交互，但元數(shù)據(jù)服務(wù)器只在某些服務(wù)器創(chuàng)建新的分塊Chunks,創(chuàng)建成功后由Chunk server告知元數(shù)據(jù)服務(wù)器操作成功。

元數(shù)據(jù)服務(wù)器告知客戶端，可以在哪個Chunk server的哪些Chunks寫入數(shù)據(jù)。

客戶端向指定的Chunk server寫入數(shù)據(jù)。

該Chunk server與其他Chunk server進行數(shù)據(jù)同步，同步成功后Chunk server告知客戶端數(shù)據(jù)寫入成功。

客戶端告知元數(shù)據(jù)服務(wù)器本次寫入完畢。

實驗環(huán)境介紹

主機

IP地址

安裝軟件包

操作系統(tǒng)

Master Server

192.168.30.55

mfs-1.6.27-5.tar.gz

CentOS7

MetaLogger Server

192.168.30.10

mfs-1.6.27-5.tar.gz

CentOS7

Chunk Server1

192.168.30.4

mfs-1.6.27-5.tar.gz

CentOS7

Chunk Server2

192.168.30.5

mfs-1.6.27-5.tar.gz

CentOS7

Client

192.168.30.6

mfs-1.6.27-5.tar.gz，fuse-2.9.2.tar.gz

CentOS7

實驗部署

首先分別在這幾個實驗主機上關(guān)閉防火墻，selinux

systemctl stop firewalld.service

setenforce 0

一，搭建Master Server

yum安裝編譯環(huán)境包

yum install -y zlib-devel gcc gcc-c++

創(chuàng)建運行用戶mfs

useradd mfs -s /sbin/nologin

安裝源碼包

tar zxvf mfs-1.6.27-5.tar.gz #解壓源碼包

cd mfs-1.6。27/

./configure \

--prefix=/usr/local/mfs \ #指定安裝路徑

--with-default-user=mfs \ #指定運行用戶，組為mfs

--with-default-group=mfs \

--disable-mfschunkserver \ #關(guān)閉節(jié)點功能

--disable-mfsmount #關(guān)閉掛載

make && make install

復(fù)制配置文件

在Master上需要用到的配置文件有兩個：mfsmaster.cfg（主配置文件）和mfsexports.cfg（被掛載目錄及權(quán)限配置文件）

cd /usr/local/mfs/etc/mfs/

cp mfsexports.cfg.dist mfsexports.cfg

cp mfsmaster.cfg.dist mfsmaster.cfg

cp mfsmetalogger.cfg.dist mfsmetalogger.cfg

cd /usr/local/mfs/var/mfs/

cp metadata.mfs.empty metadata.mfs

`MFS是一個具有容錯性的網(wǎng)絡(luò)分布式文件系統(tǒng)，它把數(shù)據(jù)分散存放在多個物理服務(wù)器上，而呈現(xiàn)給用戶的則是一個統(tǒng)一整合的資源。`

MFS是一個具有容錯功能的，高可用，可擴展的海量級分布式文件系統(tǒng)；

MFS把數(shù)據(jù)分散在多臺服務(wù)器上，單用戶看到的只是一個源；

數(shù)據(jù)訪問不再是一對多的關(guān)系，而是多對多，相較NFS性能大幅度提升；

包含了層級結(jié)構(gòu)和文件屬性，可以創(chuàng)建特殊的文件（塊設(shè)備，字符設(shè)備，管道，套接字），符號鏈接和硬鏈接。

`MFS文件系統(tǒng)的組成：`

`元數(shù)據(jù)服務(wù)器（Master）:在整個體系中負責(zé)管理文件系統(tǒng)，維護元數(shù)據(jù)。`

`元數(shù)據(jù)日志服務(wù)器（MetaLogger）:備份Master服務(wù)器的變化日志文件，文件類型為changelog_ml.*.mfs 當(dāng)Master服務(wù)器數(shù)據(jù)丟失或者損壞時，可以從日志服務(wù)器中取得進行恢復(fù)。`

`數(shù)據(jù)存儲服務(wù)器（Chunk server）:真正存儲數(shù)據(jù)的服務(wù)器。將文件分塊保存，并相互進行復(fù)制。`

`客戶端（Client）:可以像掛載NFS一樣掛載MFS文件系統(tǒng)，其操作是相同的。`

`客戶端向元數(shù)據(jù)服務(wù)器發(fā)出讀請求;`

`Chunk server向客戶端發(fā)送數(shù)據(jù)。`

`客戶端向元數(shù)據(jù)服務(wù)器發(fā)送寫入請求。`

元數(shù)據(jù)服務(wù)器與Chunk server進行交互，但元數(shù)據(jù)服務(wù)器只在某些服務(wù)器創(chuàng)建新的分塊Chunks,創(chuàng)建成功后由Chunk server告知元數(shù)據(jù)服務(wù)器操作成功。

元數(shù)據(jù)服務(wù)器告知客戶端，可以在哪個Chunk server的哪些Chunks寫入數(shù)據(jù)。

客戶端向指定的Chunk server寫入數(shù)據(jù)。

該Chunk server與其他Chunk server進行數(shù)據(jù)同步，同步成功后Chunk server告知客戶端數(shù)據(jù)寫入成功。

客戶端告知元數(shù)據(jù)服務(wù)器本次寫入完畢。

mfs-1.6.27-5.tar.gz，fuse-2.9.2.tar.gz

首先分別在這幾個實驗主機上關(guān)閉防火墻，selinux

一，搭建Master Server

cd mfs-1.6。27/

/usr/local/mfs/sbin/mfsmaster start
ps aux | grep mfs

二，搭建MetaLogger Server

--with-default-user=mfs \ #指定運行用戶，組為mfs

cd mfs-1.6。27/

--with-default-user=mfs \ #指定運行用戶，組為mfs

指定 MFS共享文件存儲目錄，

實際生產(chǎn)環(huán)境需要單獨提供磁盤陣列作為專門的MFS存儲目錄，這里只是進行實驗，所以使用一個單獨的目錄代替

安裝mfs源碼包之前安裝fuse插件，MFS客戶端依賴于fuse