小男孩‘自慰网亚洲一区二区,亚洲一级在线播放毛片,亚洲中文字幕av每天更新,黄aⅴ永久免费无码,91成人午夜在线精品,色网站免费在线观看,亚洲欧洲wwwww在线观看

分享

datanode啟動不起來的各種原因

 昵稱25533110 2018-12-26

一般在數(shù)據(jù)節(jié)點的log日志信息里能找到導(dǎo)致啟動不起來的原因。

1.Namenode和Datanode的NamenodeID不一致

    描述:一般在集群多次重新格式化HDFS之后,或者剛安裝時會碰到。日志信息如下:

  java.io.IOException: Incompatible namespaceIDs in /root/tmp/dfs/data:

  NameNode namespaceID = 1307672299; DataNode namespaceID = 389959598

解決辦法:最直接有效的辦法就是修改Datanode上的namenodeID(位于/dfs/data/current/VERSION文件中)或修改NameNode的namespaceID(位于/dfs/name/current/VERSION文件中),使其一致。

2.Datanode突然不堪重負(fù)宕掉

  只需重啟壞掉的Datanode或者JobTracker。當(dāng)集群中的某單個節(jié)點出現(xiàn)問題,不必重新重啟整個系統(tǒng),只需重啟這個節(jié)點,然后會自動連接到整個集群里。

  在壞死的節(jié)點上輸入以下命令:

    bin/Hadoop-daemon.sh start DataNode

    bin/Hadoop-daemon.sh start jobtracker

以上方法也可以用于動態(tài)加入datanode,允許用戶動態(tài)將某個節(jié)點加入集群中。

    在hadoop集群中,HDFS分布式文件系統(tǒng)和mapreduce計算框架是可以獨立部署安裝的,在hadoop2中體現(xiàn)很明顯,如果只需要使用部分節(jié)點進(jìn)行計算,只需要單獨啟動resourcemanager和需要使用的結(jié)點上的nodemanager即可,查找命令可以參考/hadoop2/sbin/start-yarn.sh中是如何寫的就可以找到答案了! 在hadoop2/sbin/start-yarn.sh腳本中,寫了啟動resourcemanager和所有節(jié)點上的nodemanager,所以只需要參考該腳本文件,就能得到啟動單個節(jié)點上的nodemanager的方法:

    hadoop2/sbin/hadoop-daemon.sh startdatanode

    hadoop2/sbin/yarn-daemon.sh nodemanager

然后執(zhí)行下集群HDFS的負(fù)載均衡即可完成動態(tài)添加節(jié)點了!

  在hadoop1中

    bin/Hadoop-daemon.sh --config ./conf start DataNode

    bin/Hadoop-daemon.sh --config ./conf start tasktracker


 

    本站是提供個人知識管理的網(wǎng)絡(luò)存儲空間,所有內(nèi)容均由用戶發(fā)布,不代表本站觀點。請注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購買等信息,謹(jǐn)防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請點擊一鍵舉報。
    轉(zhuǎn)藏 分享 獻(xiàn)花(0

    0條評論

    發(fā)表

    請遵守用戶 評論公約

    類似文章 更多