一直以來，數(shù)據(jù)中心能耗都居高不下。尤其是我國數(shù)據(jù)中心行業(yè)發(fā)展比較晚，建設(shè)標(biāo)準(zhǔn)相對滯后，數(shù)據(jù)中心PUE普遍在2.2~3.0之間。高能耗不僅給企業(yè)帶來沉重負(fù)擔(dān)，也給社會能源造成巨大浪費。

隨著云計算和大數(shù)據(jù)技術(shù)的蓬勃發(fā)展，實際業(yè)務(wù)對底層基礎(chǔ)設(shè)施的性能要求越來越高。性能的提高直接導(dǎo)致服務(wù)器功耗的不斷增加，特別是作為服務(wù)器關(guān)鍵部件的CPU，隨著性能提升功耗增加非常顯著。在單機(jī)柜服務(wù)器數(shù)量不變的情況下，整柜的功耗幾乎翻番，可以預(yù)見，這會給機(jī)房的散熱帶來多么大的挑戰(zhàn)。

萬物互聯(lián)時代的來臨會繼續(xù)激發(fā)移動產(chǎn)品和其產(chǎn)生的數(shù)據(jù)總量持續(xù)高速增長，數(shù)據(jù)中心必須向高密度配置服務(wù)器邁進(jìn)。為了應(yīng)對這樣的變化，冷卻技術(shù)也需要隨之革新。2013年，工業(yè)和信息化部發(fā)布《關(guān)于數(shù)據(jù)中心建設(shè)布局的指導(dǎo)意見》指出，國內(nèi)的大型數(shù)據(jù)中心也開始往氣候適宜、能源充足的地區(qū)建設(shè)，例如內(nèi)蒙古、山西北部等，這些遷移確實給數(shù)據(jù)中心的節(jié)能帶來了收益，但還是無法從根本上滿足服務(wù)器大功耗高密度部署帶來的散熱需求。

液冷技術(shù)并不是一個全新的概念，在衛(wèi)星、火箭發(fā)動機(jī)等航天領(lǐng)域也已有很長的應(yīng)用歷史，而在數(shù)據(jù)中心領(lǐng)域，20世紀(jì)60年代起大型主機(jī)已經(jīng)開始采用，最為人們熟知的是IBM的System/360型91大型計算機(jī)。雖然大家都認(rèn)可液冷的實用性，也有較好的實踐成果，但由于在較低熱度負(fù)荷時風(fēng)冷的成本很低，且安裝部署更為簡單，所以IT產(chǎn)業(yè)在隨后的60多年里大規(guī)模使用的是風(fēng)冷散熱系統(tǒng)。隨著時間的推移和技術(shù)的進(jìn)步，計算機(jī)芯片的密度越來越高，所要處理的計算工作也越來越復(fù)雜，熱度負(fù)荷節(jié)節(jié)攀升，液冷技術(shù)逐漸被產(chǎn)業(yè)界拉出來“救火”。在液冷越來越頻繁地出現(xiàn)在數(shù)據(jù)中心時，它相較于風(fēng)冷散熱的優(yōu)勢也逐漸顯現(xiàn)。

（1）比熱容大，散熱效率高效

液冷是指使用液體作為熱量傳輸?shù)拿浇榻档蛿?shù)據(jù)中心溫度，液體可以直接導(dǎo)向熱源帶走熱量，不需要像風(fēng)冷一樣間接通過空氣制冷。液冷將大部分熱量通過循環(huán)介質(zhì)帶走，單臺服務(wù)器需求風(fēng)量降低，機(jī)房整體送風(fēng)需求也隨之降低，大大減少機(jī)房回流導(dǎo)致的局部熱點。液冷有效抑制了CPU等元件內(nèi)部溫度的瞬間提升，因此可以在一定程度上允許CPU超頻工作，增大部署密集，提高集成度。此外，液體的比熱容遠(yuǎn)遠(yuǎn)高于氣體，可以吸收大量的熱而保持溫度變化不大，散熱效率得到極大提升。

（2）降低能耗，減少支出成本

2017年，我國在用數(shù)據(jù)中心機(jī)架總體規(guī)模166萬架，在運行中產(chǎn)生了大量的電量消耗。這些驚人的耗電量背后是高昂的電費支出，其中散熱系統(tǒng)占絕大部分。采用液冷技術(shù)后，風(fēng)扇、空調(diào)等不間斷耗電的風(fēng)冷方式可以被全部或部分取代，能耗迅速降低。以市面上某款液冷服務(wù)器為例，在CPU芯片和內(nèi)存上安裝了固定水冷板以解決服務(wù)器核心部件散熱問題。與風(fēng)冷相比，該服務(wù)器CPU滿載工作時的核溫降低了20℃，整機(jī)能耗降低了5%。

（3）節(jié)能環(huán)保，降低噪音指標(biāo)

電力在數(shù)據(jù)中心的能源消耗只有小部分是供給IT負(fù)荷，絕大部分都來自散熱負(fù)荷，散熱能耗遠(yuǎn)高于IT設(shè)備能耗本身。通過液冷系統(tǒng)削減散熱系統(tǒng)的消耗，可以大大降低整個數(shù)據(jù)中心的能源消耗，極大降低PUE。此外，由于液冷系統(tǒng)的泵等元件比風(fēng)扇的聲音更小，整個液冷系統(tǒng)的噪音比風(fēng)冷系統(tǒng)大幅降低，基本可達(dá)到“靜音機(jī)房”的效果。

數(shù)據(jù)通信設(shè)備的液體冷卻系統(tǒng)的冷卻子系統(tǒng)可以認(rèn)為是一種液體回路，其中冷卻液體與要冷卻的部件做熱交換。有些情況下，冷卻系統(tǒng)的水由機(jī)架由CDU提供，也可以由服務(wù)多個機(jī)架的外部CDU提供。

有關(guān)數(shù)據(jù)中心內(nèi)潛在的液體冷卻系統(tǒng)和回路以及使用的術(shù)語的詳細(xì)信息參見圖1。

圖1  數(shù)據(jù)中心內(nèi)的液體冷卻系統(tǒng)和回路示例

為了解決數(shù)據(jù)中心的高效散熱問題，產(chǎn)業(yè)界做了大量的嘗試。上文提到的利用自然冷源進(jìn)行散熱是一種降低PUE的好方法。此外，產(chǎn)業(yè)界在液冷方面也開始進(jìn)行嘗試，目前來看液冷主要有冷板、浸沒和噴淋3種技術(shù)路線。

（1）冷板式液冷

冷板式液冷的主要部署方式是在液冷機(jī)柜上配置分水器，給液冷計算節(jié)點提供進(jìn)出水分支管路，分支管路進(jìn)出水管分別與液冷計算節(jié)點的進(jìn)出水口通過接頭對接，與液冷計算節(jié)點的內(nèi)冷板管路連通，實現(xiàn)液冷計算節(jié)點內(nèi)液冷循環(huán)。液冷計算節(jié)點的液體在機(jī)柜級匯聚，機(jī)柜級有一進(jìn)一出兩個與外部管路連接的接頭，該接頭與外置或內(nèi)置CDU 連接，實現(xiàn)液冷整機(jī)液冷循環(huán)，并帶走液冷計算節(jié)點的熱量。在冷板式液冷系統(tǒng)里的液冷節(jié)點中，CPU等大功耗部件采用液冷冷板散熱，其它少量發(fā)熱器件（如硬盤、接口卡等）仍采用風(fēng)冷散熱系統(tǒng)。

這種散熱方式與風(fēng)冷相比，密度更高、更節(jié)能、防噪音效果更好。由于冷板式液冷技術(shù)不需要昂貴的水冷機(jī)組，所以部署后，在減少總體擁有成本的同時，數(shù)據(jù)中心的能源利用效率顯著增加。目前，在風(fēng)冷技術(shù)下，每機(jī)柜的功耗最多只能到30kW。而冷板式液冷在每分鐘60升的流量配置下，能達(dá)到總功耗45kW每機(jī)柜，可以實現(xiàn)更高密度的數(shù)據(jù)中心。

（2）浸沒式液冷

浸沒式液冷是近年備受業(yè)界關(guān)注的新型散熱技術(shù)，尤其在SC14全球超級計算大會上，來自國內(nèi)外的多家服務(wù)器企業(yè)均展示了浸沒液冷散熱產(chǎn)品，極大提升了液冷的受關(guān)注度。

浸沒式液冷具有明顯的優(yōu)勢。首先，在浸沒式液冷中，冷卻液與發(fā)熱設(shè)備直接接觸，具有較低的對流熱阻，傳熱系數(shù)高；其次，冷卻液具有較高的熱導(dǎo)率和比熱容，運行溫度變化率較小；再次，這種方式無需風(fēng)扇，降低了能耗和噪音，制冷效率高；最后，冷卻液絕緣性能優(yōu)良，閃點高不易燃，且無毒、無害、無腐蝕。所以液冷技術(shù)適用于對熱流密度、綠色節(jié)能需求高的大型數(shù)據(jù)中心、超級計算、工業(yè)及其他計算領(lǐng)域和科研機(jī)構(gòu)，特別是對于地處嚴(yán)寒、高海拔地區(qū)，或者地勢較為特殊、空間有限的數(shù)據(jù)中心，以及對環(huán)境噪音要求較高，距離人群辦公、居住場所較近，需要靜音的數(shù)據(jù)中心具有明顯的優(yōu)勢。

浸沒式液冷系統(tǒng)為一種新型高效、綠色節(jié)能的數(shù)據(jù)中心冷卻解決方案，相較于冷板液冷，它能夠更加直接地進(jìn)行熱交換，散熱效率會更高，但也會因直接接觸帶來更高的技術(shù)挑戰(zhàn)。

（3）噴淋式液冷

噴淋式液冷作為液冷的一種，其主要特征為絕緣非腐蝕的冷卻液直接噴淋到發(fā)熱器件表面或者是與發(fā)熱器件接觸的擴(kuò)展表面上，進(jìn)行吸熱后排走，排走的熱流體再與外部環(huán)境大冷源進(jìn)行熱交換。

噴淋式液冷需對IT設(shè)備進(jìn)行改造或部署相應(yīng)的噴淋器件。在設(shè)備運行時，有針對性地對發(fā)熱過高的器件進(jìn)行冷卻。這種方式的特點是不需要對機(jī)房基礎(chǔ)設(shè)施做太大的改動，只需要對服務(wù)器進(jìn)行少量的改造就能實現(xiàn)較好的冷卻性能。

噴淋式液冷機(jī)柜系統(tǒng)包括噴淋式液冷機(jī)柜系統(tǒng)（含管路、布液系統(tǒng)、回液系統(tǒng)和PDU等部件）、液冷服務(wù)器、冷卻液三部分。噴淋式液冷機(jī)柜通過管路與室內(nèi)熱交換器相連接，即機(jī)柜內(nèi)芯片的廢熱被冷卻液吸收后傳遞到到室內(nèi)熱交換器并與室外熱交換器進(jìn)行換熱。在該系統(tǒng)中，服務(wù)器內(nèi)部各個發(fā)熱器件要求采用分布式布局，建議發(fā)熱器件的傳熱表面的方向不與重力方向相同；機(jī)柜內(nèi)部器件電功率建議不超過56kW；服務(wù)器內(nèi)部無風(fēng)扇，存儲硬盤需要保護(hù)和隔離；各個接口可以實現(xiàn)快拔快插。

噴淋液冷系統(tǒng)具有器件集成度高、散熱效率強(qiáng)、高效節(jié)能和靜音等特點，是解決大功耗機(jī)柜在IDC機(jī)房部署以及降低IT系統(tǒng)制冷費用、提升能效、降低TCO的有效手段之一。

為了節(jié)能，國外做了很多大膽的嘗試，例如微軟在海底建設(shè)了自給型數(shù)據(jù)中心、Facebook在靠近北極圈的地方建設(shè)數(shù)據(jù)中心等，但這些主要是依靠環(huán)境溫度進(jìn)行節(jié)能控制。而回顧液冷技術(shù)在數(shù)據(jù)中心領(lǐng)域的發(fā)展，大概可以追溯到20世紀(jì)60年代。

1966年，IBM推出了System/360型91大型計算機(jī)，這款巨無霸產(chǎn)品以高速度和高性能優(yōu)勢被運用在大型科學(xué)計算中，如太空探索、全球氣候預(yù)測等。為了保證這個史無前例的大型機(jī)的穩(wěn)定性和高效性，IBM專門研發(fā)了水冷系統(tǒng)。隨后的幾十年里，由于在熱負(fù)荷不高的場景下風(fēng)冷成本更低、技術(shù)更簡單易行，液冷漸漸消沉。雖然IBM也先后在3081大型機(jī)和Power 575超算上應(yīng)用了新型水冷技術(shù)，但真正較為系統(tǒng)和成熟的應(yīng)用是在2010年7月，IBM的“熱水”降溫超算Aquasar。它的出現(xiàn)再次開啟了液冷時代的新紀(jì)元，也助推IBM重回液冷巔峰。如今，IBM在德國慕尼黑部署超算中心（LRZ）SuperMUC，采用了40℃的溫水作為IT設(shè)備制冷的冷媒工質(zhì)，散熱效率比普通風(fēng)冷高4000倍，其產(chǎn)生的熱水可以給LRZ超級計算機(jī)中心園區(qū)的其他生活建筑供熱，每年可節(jié)省約125萬美元開支。

與IBM直接用水制冷不同，Intel與Green Revolution Cooling（GRC）歷經(jīng)一年合作后，推出了礦物油浸沒散熱系統(tǒng)。GRC是在美國國家科學(xué)基金會的初始資助下于2009年成立的一家公司，至今成立不到10年，但已在液體冷卻技術(shù)解決方案上頗有建樹和聲望。推出的這套系統(tǒng)中的礦物油比熱容是空氣的1200倍，試驗數(shù)據(jù)表明冷卻效果比傳統(tǒng)的空氣冷卻的耗能要低90%~95%。

除了Intel和GRC，美國的3M公司也在浸沒式液冷上有所突破。研制了一種被稱為NOVEC的絕緣冷卻液，這種液體比一般的去離子水、礦物油的沸點更低，能在較低溫度下沸騰和氣化。在3M的液冷系統(tǒng)中，NOVEC吸熱沸騰變?yōu)檎羝巾敳坷淠?，釋放熱量冷卻為液態(tài)，循環(huán)往復(fù)逐漸降熱。

2018年，在I/O開發(fā)者大會上，Google推出了專為機(jī)器學(xué)習(xí)設(shè)計的芯片TPU的第三代，一個TPU3.0部署可提供超過100 Petaflops的運算能力，高密度的設(shè)計和高性能的計算速度讓Google不得不在其數(shù)據(jù)中心中引入液冷技術(shù)。這也是Google第一次在其數(shù)據(jù)中心中使用液冷，從發(fā)布的產(chǎn)品圖片來看，Google使用的極有可能是冷板式方式，但具體技術(shù)細(xì)節(jié)還未公開。

國外在液冷技術(shù)上的嘗試多多少少都是受性能所迫，當(dāng)傳統(tǒng)的配套設(shè)施無法滿足日益增長的計算和性能需求時，新的技術(shù)勢必會被催生，液冷也是在這個情境下重整旗鼓逐漸被廠商們重視起來。

目前來看，部署液冷還需要面對很多問題。

（1）原有機(jī)房適配的問題。傳統(tǒng)機(jī)房的承重、管路等設(shè)計均來自傳統(tǒng)機(jī)柜的規(guī)格。而在液冷方式下，由于制冷方式的轉(zhuǎn)變，部署環(huán)境將會有很大的不同。如果在傳統(tǒng)機(jī)房部署液冷系統(tǒng)會帶來部署成本、部署難度等方面的問題。

（2）由于浸沒式和噴淋式會直接接觸發(fā)熱器件，液體和IT部件之間的兼容性是需要考慮的一個重要問題。IT部件長期浸泡在相關(guān)液體中，是否會對其功能和性能帶來影響需要關(guān)注和驗證。另外，液體對人體和環(huán)境的友好性也至關(guān)重要。

（3）液冷的行業(yè)標(biāo)準(zhǔn)缺失將會阻礙技術(shù)的發(fā)展。目前，各企業(yè)關(guān)于液冷的研發(fā)處于各自為戰(zhàn)野蠻生長的狀態(tài)，亟需相關(guān)的行業(yè)標(biāo)準(zhǔn)組織對液冷的標(biāo)準(zhǔn)化進(jìn)行管理。對液體、供配電、管控、安防和運維等各個方面制定明確的技術(shù)要求，促進(jìn)液冷技術(shù)的良性發(fā)展。

（4）我國各大服務(wù)器廠商基本都在進(jìn)行液冷服務(wù)器的研發(fā)。如果國家能有相關(guān)專項進(jìn)行研發(fā)資金的支持，將會更好地推動液冷技術(shù)國產(chǎn)化的發(fā)展，拉近我國與國際先進(jìn)水平的距離，更好地實現(xiàn)液冷由中國制造向中國智造的轉(zhuǎn)變。

液冷是一項投入巨大、產(chǎn)出過程較慢的高技術(shù)系統(tǒng)工程。除了必須具備傳統(tǒng)服務(wù)器的設(shè)計研發(fā)能力之外，還需要有流體相關(guān)的經(jīng)驗積累。目前，國內(nèi)僅有曙光、華為、聯(lián)想、浪潮等幾個傳統(tǒng)服務(wù)器廠商具有相關(guān)產(chǎn)品，此外綠色云圖、廣東合一也在浸沒式和噴淋式液冷方面積累了一定的經(jīng)驗。

我國數(shù)據(jù)中心行業(yè)組織開放數(shù)據(jù)中心技術(shù)推進(jìn)委員會（ODCC）于2017年成立了液冷項目組，與上述企業(yè)以及中國信息通信研究院、百度、騰訊、阿里、美團(tuán)、京東、中國移動、中國電信等用戶單位一起，發(fā)起液冷系列規(guī)范的編寫。整個技術(shù)規(guī)范將從液體、管線、IT設(shè)備、配電等方面進(jìn)行考量，還對液冷系統(tǒng)的測試驗證做了相應(yīng)規(guī)劃，包括基礎(chǔ)性能、應(yīng)用性能、熱工性能、變負(fù)載、可靠性等各個方面。系列規(guī)范已于2018年10月16日“2018開放數(shù)據(jù)中心峰會”上正式發(fā)布。

液冷技術(shù)起步不久，還有很多問題亟待解決。例如，機(jī)房的承重問題，每平方米1.5噸以上的載荷會對老舊機(jī)房的地板帶來巨大壓力；還有硬盤的失效率問題，從目前技術(shù)來看，硬盤的失效率并不會因為溫度降低而降低。另外，液冷的行業(yè)標(biāo)準(zhǔn)目前還一片空白，雖然標(biāo)準(zhǔn)上的開放可以助推更多創(chuàng)新技術(shù)出世，但這對于液冷的性能安全、配套設(shè)施、人員監(jiān)管、市場推廣等長遠(yuǎn)發(fā)展其實都很不利。

液冷服務(wù)器的部署對于數(shù)據(jù)中心機(jī)房的要求、制冷的要求、服務(wù)器部件的要求等都完全不同于風(fēng)冷，它將會給服務(wù)器甚至數(shù)據(jù)中心的整條產(chǎn)業(yè)鏈帶來一次重構(gòu)，這也體現(xiàn)了數(shù)據(jù)中心行業(yè)多專業(yè)融合的趨勢，對于整個行業(yè)來說將是巨大的挑戰(zhàn)。