hadoop中exceedsthelimitofconcurrentxcievers錯(cuò)誤怎么處理

本篇內(nèi)容介紹了“hadoop中exceeds the limit of concurrent xcievers錯(cuò)誤怎么處理”的有關(guān)知識(shí)，在實(shí)際案例的操作過(guò)程中，不少人都會(huì)遇到這樣的困境，接下來(lái)就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

成都創(chuàng)新互聯(lián)公司專注為客戶提供全方位的互聯(lián)網(wǎng)綜合服務(wù)，包含不限于成都網(wǎng)站設(shè)計(jì)、成都做網(wǎng)站、外貿(mào)網(wǎng)站建設(shè)、深圳網(wǎng)絡(luò)推廣、小程序開(kāi)發(fā)、深圳網(wǎng)絡(luò)營(yíng)銷(xiāo)、深圳企業(yè)策劃、深圳品牌公關(guān)、搜索引擎seo、人物專訪、企業(yè)宣傳片、企業(yè)代運(yùn)營(yíng)等，從售前售中售后，我們都將竭誠(chéng)為您服務(wù)，您的肯定，是我們最大的嘉獎(jiǎng)；成都創(chuàng)新互聯(lián)公司為所有大學(xué)生創(chuàng)業(yè)者提供深圳建站搭建服務(wù)，24小時(shí)服務(wù)熱線：028-86922220，官方網(wǎng)址：www.cdcxhl.com

dfs.datanode.max.transfer.threads： 默認(rèn) 4096 < 2.0之前該參數(shù)為dfs.datanode.max.xcievers >
解釋：Specifies the maximum number of threads to use for transferring data in and out of the DN.

表示datanode上負(fù)責(zé)進(jìn)行文件操作的線程數(shù)。如果需要處理的文件過(guò)多，而這個(gè)參數(shù)設(shè)置得過(guò)低就會(huì)有一部分文件處理不過(guò)來(lái)，就會(huì)報(bào)異常。
linux系統(tǒng)中所有的文件操作都被綁定到一個(gè)socket上，進(jìn)一步具體可以把他看做是一個(gè)線程。而這個(gè)參數(shù)就是指定這種線程的個(gè)數(shù)。
在datanode里面有一個(gè)專門(mén)的線程組來(lái)維護(hù)這些線程，同時(shí)有一個(gè)守護(hù)線程來(lái)監(jiān)視這個(gè)線程組的體量，它負(fù)責(zé)監(jiān)測(cè)線程數(shù)量是否到達(dá)上線，
超過(guò)就拋出異常，則需調(diào)大 hdfs-site.xml 文件中的 dfs.datanode.max.transfer.threads 。

dfs.datanode.max.transfer.threads 參數(shù)設(shè)置過(guò)小，datanode 異常：
ERROR org.apache.hadoop.dfs.DataNode: DatanodeRegistration(10.10.10.53:50010,
storageID=DS-1570581820-10.10.10.53-50010-1224117842339,infoPort=50075, ipcPort=50020)
:DataXceiver: java.io.IOException: xceiverCount 258 exceeds the limit of concurrent xcievers 256

注意：dfs.datanode.max.transfer.threads 數(shù)目不能大于系統(tǒng)打開(kāi)文件數(shù)的設(shè)置，即/etc/security/limits.conf中nofile的數(shù)值。

“hadoop中exceeds the limit of concurrent xcievers錯(cuò)誤怎么處理”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！

網(wǎng)站標(biāo)題：hadoop中exceedsthelimitofconcurrentxcievers錯(cuò)誤怎么處理
分享地址：http://m.jiaotiyi.com/article/pohied.html