小男孩‘自慰网亚洲一区二区,亚洲一级在线播放毛片,亚洲中文字幕av每天更新,黄aⅴ永久免费无码,91成人午夜在线精品,色网站免费在线观看,亚洲欧洲wwwww在线观看

分享

大數(shù)據(jù)-hadoop-MapReduce計算流程

 Coder編程 2020-06-24
  • MapReduce計算流程

  1  首先是通過程序員所編寫的MR程序通過命令行本地提交或者IDE遠(yuǎn)程提交

  2 一個MR程序就是一個Job,Job信息會給Resourcemanger,向Resourcemanger注冊信息

  • 3  在注冊通過后,Job會拷貝相關(guān)的資源信息(從HDFS中)

    4 緊接著會向Resourcemanger提交完整的Job信息(包括資源信息)

    5a  Resourcemanger 會通過提交的Job信息,計算出Job所需的資源,為Job分配Container資源

    5b 計算資源會分發(fā)給對應(yīng)的NodeManger,NodeManager會創(chuàng)建一個MRAppMaster

    6  MRAppMaster初始化Job

    7 獲取輸入切片信息

    8 MRAppMaster向ResourceManager 請求資源

    9a 啟動計算資源(連接到對應(yīng)的資源所在NodeManager)

    9b 啟動YARN Child

    10 從文件系統(tǒng)中獲取完整的Job信息

    11 啟動對應(yīng)的Maptask或者ReduceTask 進(jìn)程,執(zhí)行計算。

 

    本站是提供個人知識管理的網(wǎng)絡(luò)存儲空間,所有內(nèi)容均由用戶發(fā)布,不代表本站觀點(diǎn)。請注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購買等信息,謹(jǐn)防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請點(diǎn)擊一鍵舉報。
    轉(zhuǎn)藏 分享 獻(xiàn)花(0

    0條評論

    發(fā)表

    請遵守用戶 評論公約

    類似文章 更多