HadoopHadoop是一個用于運行應用程序在大型集群的廉價硬件設備上的框架。Hadoop為應用程序透明的提供了一組穩(wěn)定/可靠的接口和數(shù)據運動。在Hadoop中實現(xiàn)了Google的MapReduce算法，它能夠把應用程序分割成許多很小的工作單元，每個單元可以在任何集群節(jié)點上執(zhí)行或重復執(zhí)行。此外，Hadoop還提供一個分布式文件系統(tǒng)用來在各個計算節(jié)點上存儲數(shù)據，并提供了對數(shù)據讀寫的高吞吐率。由于應用了map/reduce和分布式文件系統(tǒng)使得Hadoop框架具有高容錯性，它會自動處理失敗節(jié)點。已經在具有600個節(jié)點的集群測試過Hadoop框架。 |
|
|
