|
搭建PC機(jī)群不等于高性能計算機(jī)研究 《科技日報》 2002-08-26 20:22:15 當(dāng)前，中國學(xué)術(shù)界、企業(yè)界搭建PC機(jī)群成為流行，對用戶不失為是好事，但對高性能計算機(jī)的研究帶來一些錯誤理解，不利于作為國家戰(zhàn)略制高點的高性能計算機(jī)的長期發(fā)展。 1．Beowulf機(jī)群不是真正的超級計算機(jī) 十年前，會做386 PC是件了不起的事，現(xiàn)在IBM、HP、Compaq、Dell、聯(lián)想等傳統(tǒng)PC廠商早都在驚呼“后PC時代”的來臨，要進(jìn)行轉(zhuǎn)型，導(dǎo)致這種變化的“商品化”和“標(biāo)準(zhǔn)化”趨勢這把雙刃劍，也深刻地影響著高性能計算機(jī)。 商品化趨勢是指組成計算機(jī)系統(tǒng)的部件（如CPU、內(nèi)存、網(wǎng)絡(luò)、存儲、電源、管理軟件）越來越商品化，這些大量生產(chǎn)的，大量使用的部件的性能越來越接近高性能計算機(jī)系統(tǒng)的專用部件，且價格低廉，這就打破了以IBM為代表的封閉系統(tǒng)的模式。 標(biāo)準(zhǔn)化趨勢是指計算機(jī)系統(tǒng)的部件有了許多工業(yè)標(biāo)準(zhǔn)，在開放系統(tǒng)架構(gòu)下大家可以互相聯(lián)合，組成高性能的系統(tǒng)。這兩個趨勢使得研制高性能系統(tǒng)的門檻降低，這也是中國出的系統(tǒng)能接近西方水平的基礎(chǔ)來源。 Beowulf 系統(tǒng)是這兩種趨勢的一種極端表現(xiàn)。Beowulf的定義是：將一堆商品化的硬件和下載的開放源碼的軟件組裝成“個人超級計算機(jī)”。說是 Personal Supercompter是因為它多由少數(shù)用戶使用，由用戶象PC那樣管理。有時也會加入一些開發(fā)的邊緣性的軟件，大多數(shù)系統(tǒng)是由系統(tǒng)使用者、或企業(yè)以 PC機(jī)群的形式搭建。所以我們不必奇怪人們會在短時間內(nèi)做出TFLOPS級系統(tǒng)，也不必詫異某個物理或化學(xué)專業(yè)的研究生也能在一個月內(nèi)做出很好地滿足他的 需求的超級計算機(jī)。這些事件在五年前還是天方夜談。在國際上的大學(xué)、學(xué)術(shù)機(jī)構(gòu)里，已經(jīng)形成潮流，有一些書、網(wǎng)站教你如何搭建Beowulf PC機(jī)群，一些企業(yè)也開始涉足期間，ADS（一家石油軟件公司）、Dell就是例子。 PC機(jī)群形式的Beowulf系統(tǒng)可以說是高性能計算機(jī)的一種，在它面前，人們也很容易將高性能計算機(jī)等同于運算峰值，但“TFLOPS決不等于HPC”。 2．一個典型Beowulf機(jī)群 下面是教科書上的搭建Beowulf PC機(jī)群的典型例子，一些企業(yè)的產(chǎn)品也同樣采用。 結(jié)點：IA架構(gòu)的1U或2U機(jī)架式PC服務(wù)器 網(wǎng)絡(luò)：Myricom Myrinet/Dolphin SCI/Ethernet 操作系統(tǒng)：Redhat Linux 編譯器：GNU GCC/G77 數(shù)學(xué)庫：Free Scalapack 通信軟件：Free Myricom GM 并行開發(fā)環(huán)境：Free MPICH-GM，PVM-GM 作業(yè)管理：GNU Open PBS 系統(tǒng)管理：GNU SCMS 監(jiān)控管理：GNU OSCAR 文件系統(tǒng)：NFS 可選的商品化軟件：編譯器PGI、并行開發(fā)環(huán)境Wulfkit Scali MPI，MPI性能分析工具Vampir、性能分析工具Vtune等 3．誰需要Beowulf機(jī)群 Beowulf PC機(jī)群對推廣并行計算，拓寬并行計算應(yīng)用領(lǐng)域，提升基礎(chǔ)研究的科研平臺，教育用戶等方面有好處，Beowulft同時也壓縮了純計算密集應(yīng)用的系統(tǒng)的增值空間，所以可以類似地說現(xiàn)在是“后Cluster時代”。 Beowulf的最大特點是廉價和flops密集，所以最需要Beowulf PC 機(jī)群是大學(xué)、科研機(jī)構(gòu)中追求flops運算能力（也可稱Linpack）的用戶，他們的需求大多是純計算密集型，他們的應(yīng)用對Cache、內(nèi)存、 I/O、可管理性、穩(wěn)定性沒有要求，應(yīng)用都是自己開發(fā)的，希望把每一分錢投到CPU上、投到每秒多少億次上（Gflops）。許多科研人員自己就是搭建和 管理Beowulf的高手。 這里解釋一下Linpack，它是計算機(jī)運行線性方程組求解應(yīng)用時的性能，它的來源是早期計算機(jī)的性能非常 低，達(dá)到每秒一億次運算都十分困難，運算能力是追求的目標(biāo)，所以人們以此作為標(biāo)志，計算機(jī)的Top500排名也沿用了Linpack。現(xiàn)在， Linpack的意義已不大，一是獲得萬億次Linpack 對大多數(shù)用戶和企業(yè)都相當(dāng)容易、便宜（成本RMB1000-1200萬），二是它只能反映系統(tǒng)CPU的浮點指令密集型應(yīng)用的運算能力，這樣的應(yīng)用在科學(xué)計 算領(lǐng)域內(nèi)也很少；另外，日本的向量機(jī)的Linpack效率可到80%（與峰值相比），SUN/SGI的共享存儲系統(tǒng)可達(dá)70%，IBM機(jī)群可達(dá)60%， PC機(jī)群可達(dá)50%，但應(yīng)用的效率多在5-10%之間，向量機(jī)能高一些。所以，片面追求Linpack會讓高性能計算機(jī)研究和企業(yè)走向誤區(qū)。 Beowulf PC機(jī)群對用戶和高性能計算機(jī)領(lǐng)域是好事，對企業(yè)也是一種可取的市場行為，滿足部分用戶的需求。但我們應(yīng)有正確的認(rèn)識，不要得出高性能計算機(jī)很容易做、許 多企業(yè)都會做的結(jié)論。以現(xiàn)在的技術(shù)，搭建10Tflops（5Tflops Linpack）的Beowulf PC機(jī)群都不是什么難事，美國政府最近在ASCI等計劃中加大對高性能計算機(jī)的投入，說明高性能計算機(jī)仍然是高技術(shù)的制高點之一。 4．Beowulf機(jī)群的缺點 Beowulf PC機(jī)群在一體化軟件、性能、穩(wěn)定性、管理性等諸多方面先天不足，不可能替代真正的超級計算機(jī)，更不適合做數(shù)據(jù)密集型、企業(yè)級計算應(yīng)用。這里以IBM SP為例，說明Beowulf 機(jī)群與超級計算機(jī)的差距。 Free軟件：Beowulf系統(tǒng)大量采用的自由軟件的升機(jī)、維護(hù)沒有保障，用戶有新要求時，也很難滿足；所以企業(yè)界很少使用Beowulf 機(jī)群。大量看到的還是IBM Cluster1300這樣的PC機(jī)群（注意，PC機(jī)群不等同于Beowulf系統(tǒng)）。 重疊：這些軟件之間功能重疊、混亂，許多用戶需要的功能卻沒有，如果我們比較IBM SP的軟件系統(tǒng)與Beowulf 機(jī)群的軟件，就會發(fā)現(xiàn)差距是多么巨大。 RAS 特性：Beowulf 機(jī)群幾乎不具有或很差RAS特性，即可靠性、可用性、可服務(wù)性，比較一下IBM SP的平均無故障時間、系統(tǒng)管理員工作時間就可得知，而RAS對服務(wù)器、高性能計算機(jī)是十分重要的?？梢哉fBeowulf 機(jī)群的性能價格比好，因為花同樣的錢，Beowulf可以買到多得多的flops，而總擁有性能價格比很差，即用戶在它的使用周期內(nèi)能拿到的應(yīng)用飽和性能 很差。 知識產(chǎn)權(quán)：Beowulf 機(jī)群幾乎不擁有知識產(chǎn)權(quán)，一些工程、外觀類小軟件、小專利無足輕重，如果企業(yè)以此作為產(chǎn)品競爭，唯一的出路就是拼價格，事實證明用戶也不會認(rèn)可這類系統(tǒng)的高技術(shù)、高增值，用戶一種形象的說法可以是“按堆買PC”。 應(yīng) 用飽和性能：Beowulf 機(jī)群一般使用Intel架構(gòu)的PC服務(wù)器作為結(jié)點，IA架構(gòu)的最大特點是主頻高，如P4可以到2.4GHz，而IBM Power4才1.3GHz，對于主要依賴主頻的應(yīng)用效果很好。但應(yīng)用需要數(shù)據(jù)，而數(shù)據(jù)要從內(nèi)存?zhèn)鬏數(shù)紺ache，從Cache在傳輸?shù)郊拇嫫鳎鴶?shù)據(jù)的 運算還依賴多個運算部件的協(xié)同（稱為superscalar），依賴指令的處理過程（稱為super-pineline），依賴指令字長，這些都是IA架 構(gòu)CPU的弱點。此外，內(nèi)存的容量和性能、編譯器的性能、庫函數(shù)的性能等兩者也有巨大差距。所以，按Linpack計算，Intel P4 Xeon 2.0GHz的性能比IBM SP Power3 375MHz快2.5倍，但以FFT應(yīng)用為例，兩者的應(yīng)用飽和性能相當(dāng)。 應(yīng)用面：Beowulf 機(jī)群的應(yīng)用多是用戶自己編寫的科學(xué)計算應(yīng)用，在應(yīng)用的范圍，尤其是商業(yè)應(yīng)用（由應(yīng)用軟件廠商開發(fā)）上，要差很多。 5．應(yīng)用對高性能計算機(jī)新的需求 機(jī) 群是九十年代發(fā)展起來的高性能計算機(jī)體系結(jié)構(gòu)，在未來有長遠(yuǎn)的生命力，基于Intel架構(gòu)的PC機(jī)群也越來越得到用戶的青睞，一方面是廉價，另一方面在 Internet應(yīng)用、Web應(yīng)用、視頻應(yīng)用等新領(lǐng)域也有它的優(yōu)勢，作為系統(tǒng)的領(lǐng)先者IBM也大力推出LinuxPC機(jī)群系統(tǒng)Cluster1300，將 S390、SP的技術(shù)下移，甚至華爾街的用戶也接受了這種系統(tǒng)，但它們與Beowulf 機(jī)群完全不同，除了用IA架構(gòu)結(jié)點和Linux外，全是SP的超級計算機(jī)的技術(shù)。高性能計算機(jī)的應(yīng)用變得更加多樣，對高性能計算機(jī)提出了新的需求。傳統(tǒng)的 科學(xué)研究計算密集型應(yīng)用依然存在，象石油勘探這樣的計算類數(shù)據(jù)密集型應(yīng)用，要求更快的數(shù)據(jù)通道和設(shè)備共享能力；石油、氣象等應(yīng)用提出定制和優(yōu)化的專用系統(tǒng) 的要求；Internet應(yīng)用為代表的網(wǎng)絡(luò)處理密集型應(yīng)用，要求有強(qiáng)大的IP包處理能力；數(shù)據(jù)庫、事務(wù)處理為代表的數(shù)據(jù)處理密集型應(yīng)用，要求數(shù)據(jù)管理能力 和可擴(kuò)展數(shù)據(jù)庫；ERP、CRM、電子商務(wù)等企業(yè)IT系統(tǒng)應(yīng)用，要求系統(tǒng)和應(yīng)用有應(yīng)用布署、資源定位、自治管理能力；生物信息處理、信號處理等應(yīng)用還要求 高性能專用系統(tǒng)，如密集型刀片機(jī)群系統(tǒng)，等等。 以信息安全，國防安全，資源安全為代表的國家安全上的應(yīng)用，還要求有新的技術(shù)，如“數(shù)據(jù)密集”共性技術(shù)，包括存儲數(shù)據(jù)密集技術(shù)，I/O吞吐量密集技術(shù)，Internet數(shù)據(jù)接入密集技術(shù)，系統(tǒng)間數(shù)據(jù)互傳密集技術(shù)，數(shù)據(jù)處理密集技術(shù)等等。 網(wǎng) 格計算是高性能計算機(jī)和下一代Internet應(yīng)用的發(fā)展方向，幾乎所有的高性能計算機(jī)研究團(tuán)隊和企業(yè)都涉獵其中。網(wǎng)格強(qiáng)調(diào)資源共享與協(xié)同工作，強(qiáng)調(diào)新的 應(yīng)用服務(wù)模式，所以能有效支持網(wǎng)格的高性能計算機(jī)與傳統(tǒng)的系統(tǒng)在體系結(jié)構(gòu)、網(wǎng)絡(luò)通信、系統(tǒng)軟件等方面有很大區(qū)別。需要研究的新的問題很多，如面向網(wǎng)格的高 性能計算機(jī)的體系結(jié)構(gòu)，基于網(wǎng)格服務(wù)的機(jī)群操作系統(tǒng)，網(wǎng)格通信協(xié)議，網(wǎng)格文件訪問協(xié)議，網(wǎng)格應(yīng)用瀏覽器，網(wǎng)格應(yīng)用服務(wù)器，網(wǎng)格應(yīng)用服務(wù)協(xié)議，網(wǎng)格計算機(jī)模 型，網(wǎng)格應(yīng)用訪問控制模型，網(wǎng)格監(jiān)控模型等等。網(wǎng)格的需求對高性能計算機(jī)研究提出新的挑戰(zhàn)。 6．中國面臨的挑戰(zhàn) 從五十年 代的109機(jī)、八十年代銀河一號、到九十年代的神威一號，中國經(jīng)過多少代人，多少年的奮斗，在高性能計算機(jī)科研和市場上取得了接近西方和國際大企業(yè)的成 就。以美國為首的西方再也不能限制出口中國的計算機(jī)的運算能力，國際大企業(yè)再也不能壟斷市場，在中國賺取超額利潤了，現(xiàn)在國際大企業(yè)數(shù)萬億次的主流超級計 算機(jī)也以相當(dāng)?shù)土膬r格在中國出售。但西方對中國在技術(shù)和市場上的擠壓依然十分厲害，IBM可以用94%的折扣在中國銷售服務(wù)器，最新的IBM p690機(jī)群，可以賣到250萬美元1萬億次，它們的eLiza、ONE、動態(tài)分區(qū)等新技術(shù)在繼續(xù)發(fā)展。所以，在中國，Petaflops量級的ASIC 系統(tǒng)、高端高性能計算機(jī)、PC機(jī)群的高性能計算機(jī)、Beowulf PC機(jī)群各有它們的應(yīng)用面和發(fā)展方向，中國的科技主管部門、研究機(jī)構(gòu)、企業(yè)、用戶對高性能計算機(jī)的事件、形勢和發(fā)展道路上應(yīng)有正確的認(rèn)識和決策，選擇正確 的目標(biāo)和技術(shù)路線，不斷推動中國高性能計算機(jī)事業(yè)的健康發(fā)展。 |
|
|
