HDFS中DataNode有什么作用
這篇文章主要介紹了HDFS中DataNode有什么作用，具有一定借鑒價(jià)值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。
創(chuàng)新互聯(lián)公司是一家集網(wǎng)站建設(shè),甘德企業(yè)網(wǎng)站建設(shè),甘德品牌網(wǎng)站建設(shè),網(wǎng)站定制,甘德網(wǎng)站建設(shè)報(bào)價(jià),網(wǎng)絡(luò)營銷,網(wǎng)絡(luò)優(yōu)化,甘德網(wǎng)站推廣為一體的創(chuàng)新建站企業(yè)，幫助傳統(tǒng)企業(yè)提升企業(yè)形象加強(qiáng)企業(yè)競爭力。可充分滿足這一群體相比中小企業(yè)更為豐富、高端、多元的互聯(lián)網(wǎng)需求。同時(shí)我們時(shí)刻保持專業(yè)、時(shí)尚、前沿，時(shí)刻以成就客戶成長自我，堅(jiān)持不斷學(xué)習(xí)、思考、沉淀、凈化自己，讓我們?yōu)楦嗟钠髽I(yè)打造出實(shí)用型網(wǎng)站。
三個(gè)進(jìn)程
1)NameNode (NN): 名稱節(jié)點(diǎn) --》client第一個(gè)操作的對(duì)象NameNode的功能: 文件系統(tǒng)的命名空間
1.文件名稱
2.文件目錄結(jié)構(gòu)
3.文件的屬性(權(quán)限 創(chuàng)建時(shí)間 副本數(shù))
4.文件對(duì)應(yīng)哪些數(shù)據(jù)塊--》這些數(shù)據(jù)塊對(duì)應(yīng)哪些DataNode節(jié)點(diǎn)上,不會(huì)持久化存儲(chǔ)這個(gè)映射關(guān)系，通過集群的啟動(dòng)和運(yùn)行時(shí)，datanode定期發(fā)送blockReport給NN,以此NN在【內(nèi)存】中動(dòng)態(tài)維護(hù)這種映射關(guān)系。
存儲(chǔ): 維護(hù)文件系統(tǒng)樹及整個(gè)樹內(nèi)的所有文件和目錄，這些信息以兩種文件形式永久保存在本地磁盤上,命名空間鏡像文件fsimage+編輯日志editlog
2)DataNode (DN): 數(shù)據(jù)節(jié)點(diǎn) --》存儲(chǔ)數(shù)據(jù)的DataNode的作用:
1.每隔3秒發(fā)送一次心跳 參數(shù)可配置 （默認(rèn)）
2.每隔10次心跳發(fā)送一次blockReport (30s)（默認(rèn)）存儲(chǔ): 數(shù)據(jù)塊+數(shù)據(jù)塊校驗(yàn)，和與NN通信
3)Secondary NameNode(SNN): 第二名稱節(jié)點(diǎn)Secondary NameNode的作用：
定期合并fsimage+editlog文件為新的fsimage，推送給NN，稱為檢查點(diǎn)，checkpoint
存儲(chǔ): 命名空間鏡像文件fsimage+編輯日志editlog
參數(shù):fs.checkpoint.period-->1h fs.checkpoint.size -->64M
2.block(數(shù)據(jù)塊)
大小: 64M 128M(目前2.x中默認(rèn))
參數(shù): dfs.blocksize
3.副本數(shù)
dfs.replication : 3 一個(gè)塊會(huì)變?yōu)?個(gè)塊
案例
1個(gè)文件130M : 128M 2M 兩個(gè)塊 默認(rèn)塊大小為128M 實(shí)際存儲(chǔ): 130M*3 多少個(gè)塊: 6
4.副本放置策略
第一副本： 放置在上傳文件的DataNode上;
如果是集群外提交，則隨機(jī)挑選一臺(tái)磁盤
不太慢、 CPU不太忙的節(jié)點(diǎn)上;
第二副本： 放置在于第一個(gè)副本不同的機(jī)
架的節(jié)點(diǎn)上;
第三副本： 與第二個(gè)副本相同機(jī)架的不同
節(jié)點(diǎn)上;
如果還有更多的副本：隨機(jī)放在節(jié)點(diǎn)中;
感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享的“HDFS中DataNode有什么作用”這篇文章對(duì)大家有幫助，同時(shí)也希望大家多多支持創(chuàng)新互聯(lián)，關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，更多相關(guān)知識(shí)等著你來學(xué)習(xí)!
分享文章：HDFS中DataNode有什么作用
分享路徑：http://m.jiaotiyi.com/article/pcojpp.html