|
Google成功秘密：構(gòu)筑基于PC機(jī)的IT基礎(chǔ)設(shè)施 Google在搜索領(lǐng)域的成功無(wú)疑離不開(kāi)其先進(jìn)的搜索算法，然而在背后卻存在著一些鮮為人知的秘密：其實(shí)Google在運(yùn)行數(shù)據(jù)中心方面的經(jīng)驗(yàn)比其搜索算法更寶貴。 Google并沒(méi)有耗資能夠數(shù)千萬(wàn)甚至上億美元的資金來(lái)購(gòu)買昂貴的設(shè)備，而是僅有數(shù)百萬(wàn)美元購(gòu)置的廉價(jià)計(jì)算機(jī)來(lái)構(gòu)筑其基礎(chǔ)設(shè)施。通過(guò)研究硬件成本，Google的技術(shù)人員發(fā)現(xiàn)，購(gòu)買一些高端服務(wù)器的成本要遠(yuǎn)高于數(shù)十臺(tái)更簡(jiǎn)單的"大眾化"服務(wù)器。 但是購(gòu)買廉價(jià)服務(wù)器后，難題就在于如何協(xié)調(diào)這些硬件的運(yùn)行，確保一臺(tái)計(jì)算機(jī)的故障不會(huì)影響到整個(gè)系統(tǒng)，能正常完成任務(wù)如返回搜索結(jié)果或顯示廣告。 為此Google考慮采用家用PC機(jī)，畢竟家用PC因軟件和硬件缺陷而造成的崩潰每3年才會(huì)發(fā)生一次。以Google的規(guī)模，如果擁有數(shù)千臺(tái)PC，每天有一臺(tái)PC崩潰是很正常的。因此，最好是能夠以自動(dòng)的方式解決這一問(wèn)題，否則服務(wù)肯定會(huì)出現(xiàn)問(wèn)題。 為此，吸引全球最優(yōu)秀計(jì)算機(jī)頭腦的Google公司已經(jīng)開(kāi)發(fā)了大量的軟件工具，來(lái)完成計(jì)算設(shè)備的安裝。 Google擁有自己的文件系統(tǒng)，稱為"Google文件系統(tǒng)"，這一系統(tǒng)專門針對(duì)處理大型數(shù)據(jù)進(jìn)行了優(yōu)化，它能夠處理64MB大小的數(shù)據(jù)塊。更為重要的是，它能夠應(yīng)付隨時(shí)可能發(fā)生的磁盤或網(wǎng)絡(luò)故障。外Google的數(shù)據(jù)被復(fù)制三份，并存放在不同地方，這樣確保萬(wàn)無(wú)一失。憑借這些應(yīng)付故障的措施，PC就完全可以擔(dān)負(fù)互聯(lián)網(wǎng)搜索服務(wù)的重任。 Google數(shù)以千計(jì)的PC服務(wù)器運(yùn)行一種基于Red Hat版本的簡(jiǎn)化版Linux，該系統(tǒng)內(nèi)核已經(jīng)針對(duì)Google的特殊應(yīng)用進(jìn)行了修改。 Google還設(shè)計(jì)了一種能夠處理大量數(shù)據(jù)而迅速響應(yīng)查詢的系統(tǒng)。Google將整個(gè)Web劃分為數(shù)以百萬(wàn)計(jì)的碎片，以Google的技術(shù)術(shù)語(yǔ)這些碎片被稱為shard，它能在系統(tǒng)出錯(cuò)的時(shí)候被復(fù)制。 Google創(chuàng)建了一個(gè)出現(xiàn)在Web上的詞匯索引，而且它還有文檔服務(wù)器存儲(chǔ)著Google現(xiàn)在的頁(yè)面。 Google在數(shù)據(jù)中心管理方面另一個(gè)重要的技術(shù)創(chuàng)新是編寫出能夠在數(shù)以千計(jì)的服務(wù)器上平滑運(yùn)行的軟件系統(tǒng)。通常情況下，開(kāi)發(fā)在多個(gè)服務(wù)器上并行運(yùn)行的軟件系統(tǒng)需要專門的編程工具和機(jī)巧。 Google的編程工具稱為MapReduce，在系統(tǒng)出錯(cuò)的情況下，它能自動(dòng)恢復(fù)整個(gè)程序，而這對(duì)削減成本至關(guān)重要。從去年開(kāi)始，Google已經(jīng)開(kāi)始大規(guī)模使用MapReduce編程工具。 此外，Google還開(kāi)發(fā)了批量任務(wù)調(diào)度軟件Global Work Queue，能對(duì)上百萬(wàn)的操作進(jìn)行調(diào)度安排。該軟件系統(tǒng)能夠?qū)⑷蝿?wù)分解成許多更小的計(jì)算操作，并將它們分配給各臺(tái)計(jì)算機(jī)完成。 為了解決緊急災(zāi)難性問(wèn)題，Google還準(zhǔn)備了6輛救火車，以應(yīng)對(duì)Google數(shù)據(jù)中心發(fā)生的緊急事件。此外，電力成本是Google數(shù)據(jù)中心設(shè)計(jì)中的另一個(gè)重要因素。由于采購(gòu)了更多廉價(jià)計(jì)算設(shè)備，整體功耗就會(huì)增加，為此控制電力開(kāi)支也是Google設(shè)計(jì)數(shù)據(jù)中心必須考慮的一個(gè)主要問(wèn)題。 |
|
|
