|
網(wǎng)格計算的硬件機(jī)遇
網(wǎng)格把整個因特網(wǎng)整合成一臺巨大的超級計算機(jī),資源共享是網(wǎng)格的根本特征。此外,我們可以把網(wǎng)格理解為一次前所未有的創(chuàng)新機(jī)會,它所帶來的是科學(xué)理論的創(chuàng)新,是技術(shù)的創(chuàng)新,是產(chǎn)業(yè)模式的創(chuàng)新。雖然目前國際上網(wǎng)格的研究集中在軟件上,但從本質(zhì)上講,網(wǎng)格是計算機(jī)體系結(jié)構(gòu)的極大創(chuàng)新,當(dāng)然包括硬件的創(chuàng)新機(jī)會。
業(yè)內(nèi)專家認(rèn)為網(wǎng)格的關(guān)鍵性創(chuàng)新集中在2003年~2005年出現(xiàn),因此,我們應(yīng)該緊緊抓住網(wǎng)格帶來的硬件機(jī)遇!
網(wǎng)格把整個因特網(wǎng)整合成一臺巨大的超級計算機(jī),實現(xiàn)計算資源、存儲資源、數(shù)據(jù)資源、信息資源、知識資源、專家資源的全面共享和協(xié)同。當(dāng)然,網(wǎng)格并不一定非要這么大,也可以構(gòu)造地區(qū)性網(wǎng)格(如中關(guān)村科技園區(qū)網(wǎng)格)、企事業(yè)內(nèi)部網(wǎng)格、局域網(wǎng)網(wǎng)格、甚至家庭網(wǎng)格和個人網(wǎng)格。網(wǎng)格的根本特征并不一定是它的規(guī)模很大,而是資源共享,消除資源孤島。
一般認(rèn)為,網(wǎng)格的技術(shù)特征主要包括以下兩部分:
● 資源共享,消除資源孤島;協(xié)同工作。這兩點是網(wǎng)格的基本技術(shù)要求。
● 通用開放標(biāo)準(zhǔn),非集中控制,非平凡服務(wù)質(zhì)量。這三點是Ian Foster最近提出的網(wǎng)格檢驗標(biāo)準(zhǔn)。
但筆者認(rèn)為,除了以上兩大技術(shù)特征之外,網(wǎng)格的特征還應(yīng)包括:
● 動態(tài)功能,開放系統(tǒng),單一系統(tǒng)映像。
不過,筆者認(rèn)為對“什么是網(wǎng)格”這個問題的最重要的回答是:網(wǎng)格是1995~2010年時段計算機(jī)體系結(jié)構(gòu)、操作系統(tǒng)、用戶界面領(lǐng)域最重要的突破性創(chuàng)新機(jī)會。而且,網(wǎng)格不是一個已經(jīng)成熟的、有定論的技術(shù),它正在不斷展開,是能夠影響與創(chuàng)造的技術(shù)。因此,網(wǎng)格為中國提供了一個前所未有的創(chuàng)新機(jī)會,包括科學(xué)理論創(chuàng)新、技術(shù)創(chuàng)新和產(chǎn)業(yè)模式的創(chuàng)新。
像計算機(jī)歷史上的IBM S/360系統(tǒng)、操作系統(tǒng)、關(guān)系數(shù)據(jù)庫和Web一樣,網(wǎng)格會產(chǎn)生計算機(jī)領(lǐng)域的新科學(xué)與新技術(shù),導(dǎo)致業(yè)界重新洗牌,從而淘汰或超越現(xiàn)有產(chǎn)品,開辟龐大的新市場。因此說網(wǎng)格是突破性創(chuàng)新。
網(wǎng)格帶來硬件創(chuàng)新機(jī)遇
目前國際上網(wǎng)格的研究集中在軟件,尤其集中在網(wǎng)格操作系統(tǒng)和中間件層面。但是,從本質(zhì)上講,網(wǎng)格是計算機(jī)體系結(jié)構(gòu)的創(chuàng)新機(jī)會,自然也就包括硬件的創(chuàng)新機(jī)會。我們可以從網(wǎng)格計算機(jī)的觀點(見圖1)來看這個問題。
一些專家認(rèn)為,計算機(jī)領(lǐng)域的突破性創(chuàng)新只能來自器件層甚至更底層(如量子計算)。其實與器件技術(shù)正交的計算機(jī)系統(tǒng)技術(shù),也可能產(chǎn)生突破性創(chuàng)新。IBM S/360系統(tǒng)的推出,產(chǎn)生了通用計算機(jī)家族、計算機(jī)體系結(jié)構(gòu)、操作系統(tǒng)等根本技術(shù),淘汰了絕大部分的專用計算機(jī),為IBM公司帶來了數(shù)千億美元的市場收入,甚至改變了整個計算機(jī)產(chǎn)業(yè)的面貌。
現(xiàn)在世界上的分布式計算系統(tǒng)或網(wǎng)格計算系統(tǒng)領(lǐng)域,很像計算機(jī)工業(yè)在IBM S/360推出前的狀況。它們大都是定制開發(fā)的專用系統(tǒng),也有小部分是基于未能流行開來的準(zhǔn)通用技術(shù)(如CORBA),它們甚至沒有公共編碼,這就像ASCII標(biāo)準(zhǔn)推出之前計算機(jī)系統(tǒng)使用FIELDATA、ITA2、Murray‘s code、Morse‘s code的混亂狀況一樣。這些系統(tǒng)無論是開發(fā)、部署、應(yīng)用、管理、升級、還是集成的成本都很大。
就像IBM S/360對計算機(jī)系統(tǒng)領(lǐng)域所起到的突破性創(chuàng)新作用一樣,網(wǎng)格也將是分布式系統(tǒng)的突破性創(chuàng)新。它正在產(chǎn)生通用分布式系統(tǒng)家族、標(biāo)準(zhǔn)的分布式系統(tǒng)體系結(jié)構(gòu)、以及網(wǎng)格操作系統(tǒng)等技術(shù)。與強(qiáng)調(diào)“分布”的傳統(tǒng)分布式系統(tǒng)不一樣,網(wǎng)格更強(qiáng)調(diào)將局域或廣域的分布式系統(tǒng)看成一臺虛擬的網(wǎng)格計算機(jī)平臺(見圖2)。
網(wǎng)格的計算機(jī)觀
如果將網(wǎng)格看成一臺計算機(jī),就不得不回答下述科學(xué)和技術(shù)的問題:
● 什么是這個網(wǎng)格計算機(jī)的公共編碼?
● 什么是它的體系結(jié)構(gòu)?
● 什么是它的存儲器與地址空間?
● 什么是它的處理器與指令系統(tǒng)?
● 什么是它的外部設(shè)備?
● 什么是它的編程語言?
● 如何定義、設(shè)計與分析網(wǎng)格計算機(jī)
的算法?
● 什么是它的操作系統(tǒng)?
● 什么是它的數(shù)據(jù)庫?
● 什么是它的應(yīng)用軟件?
對于這些問題的研究,將推動計算機(jī)科學(xué)與技術(shù)的發(fā)展,導(dǎo)致在體系結(jié)構(gòu)、操作系統(tǒng)、用戶界面領(lǐng)域的重新洗牌。
對于網(wǎng)格計算機(jī)的公共編碼問題,業(yè)界已經(jīng)有了回答,那就是XML(W3C的Henry Thompson稱XML為分布式系統(tǒng)的ASCII碼)。
對于網(wǎng)格計算機(jī)的體系結(jié)構(gòu)問題,業(yè)界尚無明確的回答,但在操作系統(tǒng)層面已有一定共識,那就是OGSA/Globus。2003年推出的Globus Toolkit 3.0(GT 3.0)可能會是被廣泛認(rèn)可的網(wǎng)格操作系統(tǒng)的內(nèi)核,而在2003年推出的OGSA Specification則是其框架。另外一組則是Web Service的體系結(jié)構(gòu),如.Net。這兩組結(jié)構(gòu)可能會最終合為一體。要注意的是,上述結(jié)構(gòu)的研究者在開發(fā)它們的時候,主要是站在網(wǎng)格操作系統(tǒng)的層面考慮,對網(wǎng)格計算機(jī)的“硬件”體系結(jié)構(gòu)則考慮不是很多。這方面的工作還幾乎是一片處女地,有很多創(chuàng)新的機(jī)會。這方面的例子有:
● Intel已開始研究它的芯片如何支持網(wǎng)格和Web Service;
● 中科院計算所的曙光4000、水星(藍(lán)鯨)、網(wǎng)格路由器、Vega-PG工作。
當(dāng)然,這方面最重要的問題還是網(wǎng)格計算機(jī)的整體體系結(jié)構(gòu)。傳統(tǒng)CPU芯片的體系結(jié)構(gòu),可以分解成三個內(nèi)容:地址空間、寄存器(包括狀態(tài)寄存器)、指令系統(tǒng)。
地址空間是計算機(jī)體系結(jié)構(gòu)的核心內(nèi)容。它的一大進(jìn)展發(fā)生在上世紀(jì)60年代,產(chǎn)生了物理地址、有效地址、邏輯地址、虛擬地址、動態(tài)尋址技術(shù),從而使得分時系統(tǒng)、交互式系統(tǒng)、現(xiàn)代操作系統(tǒng)、有效的高級語言編程成為可能。
中科院計算所織女星網(wǎng)格最近的一個研究進(jìn)展就是關(guān)于網(wǎng)格地址空間方面的,即網(wǎng)格資源定位(尋址)的工作。中科院計算所提出了“網(wǎng)格社區(qū)”技術(shù),將網(wǎng)格資源分成物理資源、邏輯資源和虛擬資源三個層次,探討了網(wǎng)格計算機(jī)的虛擬化工作,這有助于大大減化網(wǎng)格編程的難度。另一個進(jìn)展是更基礎(chǔ)層面的。在自圖靈機(jī)以來的各種計算模型(如RAM、PRAM、BSP)中,地址空間的每個地址只能有讀或?qū)懖僮?。中科院計算所同時提出了“主動存儲計算機(jī)”(CAM)模型,增加了對地址的執(zhí)行等主動操作,有助于更好地研究網(wǎng)格計算機(jī)指令系統(tǒng)(即WSDL、GSDL等網(wǎng)格協(xié)議),以及網(wǎng)格算法的設(shè)計與分析問題。
網(wǎng)格計算機(jī)的另兩個不同點是自主控制和異步。
目前,國際上對網(wǎng)格體系結(jié)構(gòu)的研究已有一定深度。下面舉兩個例子說明。
● 什么是網(wǎng)格計算機(jī)的主板?
一個相關(guān)的領(lǐng)域就是CDN。MIT和Akamai已有多年的研究。Akamai的基于Edge Server的體系結(jié)構(gòu)不僅能夠加速內(nèi)容分發(fā)(Contents Delivery),而且已經(jīng)能夠加速應(yīng)用分發(fā)(Applications Delivery),加速比高達(dá)5倍。
● 什么是網(wǎng)格計算機(jī)的CPU?
中科院計算所認(rèn)為網(wǎng)格計算機(jī)的CPU是面向網(wǎng)格的超級服務(wù)器。網(wǎng)格上的一個應(yīng)用特征就是Spike,越需要的服務(wù)請求就越多,Spike越大,這使得超級服務(wù)器提供的吞吐率大幅降低,延遲指數(shù)增加。國際上已有很多這方面的研究,其目標(biāo)是使得在服務(wù)請求增多、服務(wù)器飽和時,吞吐率能夠保持在(最大的)飽和值,延遲只有線性增加。要達(dá)到這個目標(biāo),需要系統(tǒng)層面的創(chuàng)新,改變目前服務(wù)器普遍使用的進(jìn)程和線程模型。
從空白的切入
面對網(wǎng)格所帶來的硬件創(chuàng)新機(jī)遇,中國的研發(fā)機(jī)構(gòu)和相關(guān)企業(yè)也在把握時機(jī)。中科院計算所把研發(fā)重點放在同時具有下述三個特點的領(lǐng)域:大量中國用戶迫切需要,國外研究還比較薄弱,技術(shù)上可能產(chǎn)生突破性創(chuàng)新。目前,國外網(wǎng)格研究有五個方面的缺陷:
第一,信息網(wǎng)格和知識網(wǎng)格還幾乎是空白。
目前國外的研究集中在計算網(wǎng)格、數(shù)據(jù)網(wǎng)格、商業(yè)網(wǎng)格(Web Service)三個方面,在P2P和Access Grid方面也有很多工作,但在信息網(wǎng)格、知識網(wǎng)格方面工作很少。盡管GGF已有了Semantic Grid的一些工作,但還缺乏內(nèi)容。
目前中科院計算所在織女星知識網(wǎng)格方面的研究工作在國際同行中處于領(lǐng)先行列,但要產(chǎn)生關(guān)系數(shù)據(jù)庫這樣的有影響的成果還需要做大量的工作。同時,中科院計算所在織女星信息網(wǎng)格方面也有很多機(jī)會。
第二,網(wǎng)格應(yīng)用開發(fā)界面與使用界面還很差
GGF的界面領(lǐng)域還沒有工作組,只有幾個研究組,都在做偏重于計算和數(shù)據(jù)方面的研究。OGSA/Globus主要提供API界面。IBM、HP、Sun、BEA、微軟等公司都推出了類似Visual Studio.Net這樣的工具。但它們屬于網(wǎng)格計算機(jī)的庫函數(shù)開發(fā)工具的層次。
中科院計算所織女星網(wǎng)格小組正在研究開發(fā)的GSML軟件包就是為了解決上述問題。目前國際同行尚未有相同工作。
第三,支持網(wǎng)格的超級服務(wù)器的需求尚不清楚。
高性能計算機(jī)如何支持網(wǎng)格?它的體系結(jié)構(gòu)和操作系統(tǒng)該如何改變?這些問題目前還沒有答案。這則是曙光4000/5000的創(chuàng)新機(jī)會。
這方面的一個進(jìn)展是GGF關(guān)于使用CIM的共識。這樣至少對Sun公司的服務(wù)器而言,網(wǎng)格與網(wǎng)格結(jié)點可以采用相容的資源信息服務(wù)標(biāo)準(zhǔn),有助于網(wǎng)格與網(wǎng)格結(jié)點的無縫銜接。
第四,網(wǎng)格操作系統(tǒng)還不完善。
網(wǎng)格系統(tǒng)軟件是網(wǎng)格研究界投入最多的領(lǐng)域。但目前它仍有很多不完善的地方。比如:
● 網(wǎng)格文件系統(tǒng)還幾乎是空白(除微軟Yukon計劃之外)。
● 網(wǎng)格資源定位(亦稱命名)還是個難題。網(wǎng)格用戶身分(ID)還沒有定論。Sun倡導(dǎo)的Liberty技術(shù)可能會成功。
● 網(wǎng)格授權(quán)與訪問控制的工作還處于初級階段。
第五,網(wǎng)格的基礎(chǔ)研究還很薄弱。
這方面國際上還很少有成果發(fā)表。中科院計算所由諸葛海和徐志偉領(lǐng)頭的四項工作已取得一些初步成果,四項工作如下: (下轉(zhuǎn)E6版)
第一,網(wǎng)格資源空間模型。
第二,基于主動存儲(CAM)的網(wǎng)格計算機(jī)模型。
第三,面向用戶行為(BO)的信息網(wǎng)格時空模型。
第四,基于I/O自動機(jī)的網(wǎng)格安全模型。
目前,中科院計算所的織女星網(wǎng)格研究工作采用了“統(tǒng)一品牌、松散耦合”的組織方式,大體上分成知識網(wǎng)格、信息網(wǎng)格、服務(wù)網(wǎng)格、基礎(chǔ)研究四個內(nèi)容,參與人員涉及四個室,共100多人,研究領(lǐng)域包括:
● 織女星知識網(wǎng)格
● 織女星信息網(wǎng)格
● 織女星服務(wù)網(wǎng)格
● 織女星網(wǎng)格操作系統(tǒng)
● 織女星網(wǎng)格基礎(chǔ)研究
中科院計算所正在進(jìn)行的其它網(wǎng)格相關(guān)研究還有:
● 支持網(wǎng)格的藍(lán)鯨存儲服務(wù)器
● 面向網(wǎng)格的曙光超級服務(wù)器
正視網(wǎng)格研究中的不足
與國外同行相比,我們在網(wǎng)格研究中還應(yīng)正視以下幾個問題:
● 看不到網(wǎng)格是一種突破性創(chuàng)新技術(shù),以及它帶來的巨大機(jī)會,認(rèn)為它只不過是又一種中間件技術(shù)。
● 潛意識地認(rèn)為網(wǎng)格是別人的技術(shù),沒有意識到我們也是網(wǎng)格技術(shù)的創(chuàng)造者,自己必須要提出問題并回答問題。不要只依賴別人,只當(dāng)學(xué)生。
● 對網(wǎng)格的學(xué)習(xí)和思考還很膚淺,技術(shù)和心態(tài)都比較落后。自稱知道網(wǎng)格的人往往只看過一些別人的白皮書和介紹性文章,或粗淺地用過一些相關(guān)軟件,缺乏自我系統(tǒng)思考和深入研究。
● 習(xí)慣于家庭作業(yè)方式,把問題推給上級和用戶。由于網(wǎng)格是一種正在發(fā)展的新技術(shù),新問題很多,這種心態(tài)對網(wǎng)格的創(chuàng)新就特別有害。
對因特網(wǎng)路線和Extreme Programming等有利于網(wǎng)格創(chuàng)新的技術(shù)路線領(lǐng)會不深,習(xí)慣于照搬落后的軟件工程教條,很容易流于開發(fā)復(fù)雜而膚淺的系統(tǒng)。
網(wǎng)格的關(guān)鍵創(chuàng)新就在2003~2005這幾年出現(xiàn),我們一定要有危機(jī)感、緊迫感,抓住網(wǎng)格帶來的硬件機(jī)遇。
 圖1 網(wǎng)格計算機(jī)觀點(IBM)
 圖2 從單臺計算機(jī)的發(fā)展史預(yù)測分布式系統(tǒng)(網(wǎng)格)的發(fā)展
專家答疑
網(wǎng)格的硬件機(jī)遇
Q&A
網(wǎng)格是不是分布式系統(tǒng)?
網(wǎng)格是一種分布式系統(tǒng),但網(wǎng)格不同于傳統(tǒng)的分布式系統(tǒng)。構(gòu)建分布式系統(tǒng)有三種方法:傳統(tǒng)(EDS)方法、分布自律系統(tǒng)(ADS)方法,網(wǎng)格(Grid)方法。網(wǎng)格方法與傳統(tǒng)方法的區(qū)別見下表。
網(wǎng)格與傳統(tǒng)分布式系統(tǒng)的區(qū)別

網(wǎng)格是不是下一代因特網(wǎng)?
有一些人把網(wǎng)格看成是未來互聯(lián)網(wǎng)技術(shù)。國外媒體常用“下一代因特網(wǎng)”、“Internet2”、“下一代Web”等詞語來稱呼網(wǎng)格相關(guān)技術(shù)。要注意的是,“下一代因特網(wǎng)”(NGI)和“Internet2”又是美國的兩個具體科研項目的名字,它們與網(wǎng)格研究目標(biāo)相交,但研究內(nèi)容和重點有很大不同。
筆者認(rèn)為,一旦關(guān)于網(wǎng)格的一系列協(xié)議標(biāo)準(zhǔn)面世,就會推動產(chǎn)生全球網(wǎng)絡(luò)應(yīng)用的第三次浪潮(前兩次是Internet、Web的出現(xiàn))。簡單地講,傳統(tǒng)因特網(wǎng)實現(xiàn)了計算機(jī)硬件的連通,Web實現(xiàn)了網(wǎng)頁的連通,而網(wǎng)格試圖實現(xiàn)互聯(lián)網(wǎng)上應(yīng)用層面的互聯(lián)互通,這就意味著所有資源的全面連通,包括計算資源、存儲資源、通信資源、軟件資源、信息資源、知識資源等。

網(wǎng)格的功能益處:應(yīng)用層面的互連互通
 網(wǎng)絡(luò)的三次大浪潮
網(wǎng)格是一種中間件,還是一種操作系統(tǒng)?
目前國際上網(wǎng)格的研究看起來大量集中在中間件層面,但事實上正在創(chuàng)造下一代的操作系統(tǒng)和用戶界面。比如,IBM已經(jīng)把WebSphere變成了公司的一個品牌,甚至直截了當(dāng)?shù)卣fWebSphere就是“Internet operating system”。Ian Foster說他們的Globus的目標(biāo)是成為“分布式計算的Linux”,他進(jìn)一步確認(rèn),Globus就是開放源碼的網(wǎng)格操作系統(tǒng)核心。
這種網(wǎng)格操作系統(tǒng)的基本結(jié)構(gòu)繼承了以前操作系統(tǒng)的做法,即一個核心(內(nèi)核)加上一個框架,就像GNU/Linux一樣。當(dāng)我們說Linux操作系統(tǒng)時,我們實際上是指Linux核心中加上GNU環(huán)境(亦稱框架)。
網(wǎng)格把整個因特網(wǎng)整合成一臺巨大的超級計算機(jī),實現(xiàn)計算資源、存儲資源、數(shù)據(jù)資源、信息資源、知識資源、專家資源的全面共享和協(xié)同。當(dāng)然,網(wǎng)格并不一定非要這么大,也可以構(gòu)造地區(qū)性網(wǎng)格(如中關(guān)村科技園區(qū)網(wǎng)格)、企事業(yè)內(nèi)部網(wǎng)格、局域網(wǎng)網(wǎng)格、甚至家庭網(wǎng)格和個人網(wǎng)格。網(wǎng)格的根本特征并不一定是它的規(guī)模很大,而是資源共享,消除資源孤島。
一般認(rèn)為,網(wǎng)格的技術(shù)特征主要包括以下兩部分:
● 資源共享,消除資源孤島;協(xié)同工作。這兩點是網(wǎng)格的基本技術(shù)要求。
● 通用開放標(biāo)準(zhǔn),非集中控制,非平凡服務(wù)質(zhì)量。這三點是Ian Foster最近提出的網(wǎng)格檢驗標(biāo)準(zhǔn)。
但筆者認(rèn)為,除了以上兩大技術(shù)特征之外,網(wǎng)格的特征還應(yīng)包括:
● 動態(tài)功能,開放系統(tǒng),單一系統(tǒng)映像。
不過,筆者認(rèn)為對“什么是網(wǎng)格”這個問題的最重要的回答是:網(wǎng)格是1995~2010年時段計算機(jī)體系結(jié)構(gòu)、操作系統(tǒng)、用戶界面領(lǐng)域最重要的突破性創(chuàng)新機(jī)會。而且,網(wǎng)格不是一個已經(jīng)成熟的、有定論的技術(shù),它正在不斷展開,是能夠影響與創(chuàng)造的技術(shù)。因此,網(wǎng)格為中國提供了一個前所未有的創(chuàng)新機(jī)會,包括科學(xué)理論創(chuàng)新、技術(shù)創(chuàng)新和產(chǎn)業(yè)模式的創(chuàng)新。
像計算機(jī)歷史上的IBM S/360系統(tǒng)、操作系統(tǒng)、關(guān)系數(shù)據(jù)庫和Web一樣,網(wǎng)格會產(chǎn)生計算機(jī)領(lǐng)域的新科學(xué)與新技術(shù),導(dǎo)致業(yè)界重新洗牌,從而淘汰或超越現(xiàn)有產(chǎn)品,開辟龐大的新市場。因此說網(wǎng)格是突破性創(chuàng)新。
網(wǎng)格帶來硬件創(chuàng)新機(jī)遇
目前國際上網(wǎng)格的研究集中在軟件,尤其集中在網(wǎng)格操作系統(tǒng)和中間件層面。但是,從本質(zhì)上講,網(wǎng)格是計算機(jī)體系結(jié)構(gòu)的創(chuàng)新機(jī)會,自然也就包括硬件的創(chuàng)新機(jī)會。我們可以從網(wǎng)格計算機(jī)的觀點(見圖1)來看這個問題。
一些專家認(rèn)為,計算機(jī)領(lǐng)域的突破性創(chuàng)新只能來自器件層甚至更底層(如量子計算)。其實與器件技術(shù)正交的計算機(jī)系統(tǒng)技術(shù),也可能產(chǎn)生突破性創(chuàng)新。IBM S/360系統(tǒng)的推出,產(chǎn)生了通用計算機(jī)家族、計算機(jī)體系結(jié)構(gòu)、操作系統(tǒng)等根本技術(shù),淘汰了絕大部分的專用計算機(jī),為IBM公司帶來了數(shù)千億美元的市場收入,甚至改變了整個計算機(jī)產(chǎn)業(yè)的面貌。
現(xiàn)在世界上的分布式計算系統(tǒng)或網(wǎng)格計算系統(tǒng)領(lǐng)域,很像計算機(jī)工業(yè)在IBM S/360推出前的狀況。它們大都是定制開發(fā)的專用系統(tǒng),也有小部分是基于未能流行開來的準(zhǔn)通用技術(shù)(如CORBA),它們甚至沒有公共編碼,這就像ASCII標(biāo)準(zhǔn)推出之前計算機(jī)系統(tǒng)使用FIELDATA、ITA2、Murray‘s code、Morse‘s code的混亂狀況一樣。這些系統(tǒng)無論是開發(fā)、部署、應(yīng)用、管理、升級、還是集成的成本都很大。
就像IBM S/360對計算機(jī)系統(tǒng)領(lǐng)域所起到的突破性創(chuàng)新作用一樣,網(wǎng)格也將是分布式系統(tǒng)的突破性創(chuàng)新。它正在產(chǎn)生通用分布式系統(tǒng)家族、標(biāo)準(zhǔn)的分布式系統(tǒng)體系結(jié)構(gòu)、以及網(wǎng)格操作系統(tǒng)等技術(shù)。與強(qiáng)調(diào)“分布”的傳統(tǒng)分布式系統(tǒng)不一樣,網(wǎng)格更強(qiáng)調(diào)將局域或廣域的分布式系統(tǒng)看成一臺虛擬的網(wǎng)格計算機(jī)平臺(見圖2)。
網(wǎng)格的計算機(jī)觀
如果將網(wǎng)格看成一臺計算機(jī),就不得不回答下述科學(xué)和技術(shù)的問題:
● 什么是這個網(wǎng)格計算機(jī)的公共編碼?
● 什么是它的體系結(jié)構(gòu)?
● 什么是它的存儲器與地址空間?
● 什么是它的處理器與指令系統(tǒng)?
● 什么是它的外部設(shè)備?
● 什么是它的編程語言?
● 如何定義、設(shè)計與分析網(wǎng)格計算機(jī)
的算法?
● 什么是它的操作系統(tǒng)?
● 什么是它的數(shù)據(jù)庫?
● 什么是它的應(yīng)用軟件?
對于這些問題的研究,將推動計算機(jī)科學(xué)與技術(shù)的發(fā)展,導(dǎo)致在體系結(jié)構(gòu)、操作系統(tǒng)、用戶界面領(lǐng)域的重新洗牌。
對于網(wǎng)格計算機(jī)的公共編碼問題,業(yè)界已經(jīng)有了回答,那就是XML(W3C的Henry Thompson稱XML為分布式系統(tǒng)的ASCII碼)。
對于網(wǎng)格計算機(jī)的體系結(jié)構(gòu)問題,業(yè)界尚無明確的回答,但在操作系統(tǒng)層面已有一定共識,那就是OGSA/Globus。2003年推出的Globus Toolkit 3.0(GT 3.0)可能會是被廣泛認(rèn)可的網(wǎng)格操作系統(tǒng)的內(nèi)核,而在2003年推出的OGSA Specification則是其框架。另外一組則是Web Service的體系結(jié)構(gòu),如.Net。這兩組結(jié)構(gòu)可能會最終合為一體。要注意的是,上述結(jié)構(gòu)的研究者在開發(fā)它們的時候,主要是站在網(wǎng)格操作系統(tǒng)的層面考慮,對網(wǎng)格計算機(jī)的“硬件”體系結(jié)構(gòu)則考慮不是很多。這方面的工作還幾乎是一片處女地,有很多創(chuàng)新的機(jī)會。這方面的例子有:
● Intel已開始研究它的芯片如何支持網(wǎng)格和Web Service;
● 中科院計算所的曙光4000、水星(藍(lán)鯨)、網(wǎng)格路由器、Vega-PG工作。
當(dāng)然,這方面最重要的問題還是網(wǎng)格計算機(jī)的整體體系結(jié)構(gòu)。傳統(tǒng)CPU芯片的體系結(jié)構(gòu),可以分解成三個內(nèi)容:地址空間、寄存器(包括狀態(tài)寄存器)、指令系統(tǒng)。
地址空間是計算機(jī)體系結(jié)構(gòu)的核心內(nèi)容。它的一大進(jìn)展發(fā)生在上世紀(jì)60年代,產(chǎn)生了物理地址、有效地址、邏輯地址、虛擬地址、動態(tài)尋址技術(shù),從而使得分時系統(tǒng)、交互式系統(tǒng)、現(xiàn)代操作系統(tǒng)、有效的高級語言編程成為可能。
中科院計算所織女星網(wǎng)格最近的一個研究進(jìn)展就是關(guān)于網(wǎng)格地址空間方面的,即網(wǎng)格資源定位(尋址)的工作。中科院計算所提出了“網(wǎng)格社區(qū)”技術(shù),將網(wǎng)格資源分成物理資源、邏輯資源和虛擬資源三個層次,探討了網(wǎng)格計算機(jī)的虛擬化工作,這有助于大大減化網(wǎng)格編程的難度。另一個進(jìn)展是更基礎(chǔ)層面的。在自圖靈機(jī)以來的各種計算模型(如RAM、PRAM、BSP)中,地址空間的每個地址只能有讀或?qū)懖僮?。中科院計算所同時提出了“主動存儲計算機(jī)”(CAM)模型,增加了對地址的執(zhí)行等主動操作,有助于更好地研究網(wǎng)格計算機(jī)指令系統(tǒng)(即WSDL、GSDL等網(wǎng)格協(xié)議),以及網(wǎng)格算法的設(shè)計與分析問題。
網(wǎng)格計算機(jī)的另兩個不同點是自主控制和異步。
目前,國際上對網(wǎng)格體系結(jié)構(gòu)的研究已有一定深度。下面舉兩個例子說明。
● 什么是網(wǎng)格計算機(jī)的主板?
一個相關(guān)的領(lǐng)域就是CDN。MIT和Akamai已有多年的研究。Akamai的基于Edge Server的體系結(jié)構(gòu)不僅能夠加速內(nèi)容分發(fā)(Contents Delivery),而且已經(jīng)能夠加速應(yīng)用分發(fā)(Applications Delivery),加速比高達(dá)5倍。
● 什么是網(wǎng)格計算機(jī)的CPU?
中科院計算所認(rèn)為網(wǎng)格計算機(jī)的CPU是面向網(wǎng)格的超級服務(wù)器。網(wǎng)格上的一個應(yīng)用特征就是Spike,越需要的服務(wù)請求就越多,Spike越大,這使得超級服務(wù)器提供的吞吐率大幅降低,延遲指數(shù)增加。國際上已有很多這方面的研究,其目標(biāo)是使得在服務(wù)請求增多、服務(wù)器飽和時,吞吐率能夠保持在(最大的)飽和值,延遲只有線性增加。要達(dá)到這個目標(biāo),需要系統(tǒng)層面的創(chuàng)新,改變目前服務(wù)器普遍使用的進(jìn)程和線程模型。
從空白的切入
面對網(wǎng)格所帶來的硬件創(chuàng)新機(jī)遇,中國的研發(fā)機(jī)構(gòu)和相關(guān)企業(yè)也在把握時機(jī)。中科院計算所把研發(fā)重點放在同時具有下述三個特點的領(lǐng)域:大量中國用戶迫切需要,國外研究還比較薄弱,技術(shù)上可能產(chǎn)生突破性創(chuàng)新。目前,國外網(wǎng)格研究有五個方面的缺陷:
第一,信息網(wǎng)格和知識網(wǎng)格還幾乎是空白。
目前國外的研究集中在計算網(wǎng)格、數(shù)據(jù)網(wǎng)格、商業(yè)網(wǎng)格(Web Service)三個方面,在P2P和Access Grid方面也有很多工作,但在信息網(wǎng)格、知識網(wǎng)格方面工作很少。盡管GGF已有了Semantic Grid的一些工作,但還缺乏內(nèi)容。
目前中科院計算所在織女星知識網(wǎng)格方面的研究工作在國際同行中處于領(lǐng)先行列,但要產(chǎn)生關(guān)系數(shù)據(jù)庫這樣的有影響的成果還需要做大量的工作。同時,中科院計算所在織女星信息網(wǎng)格方面也有很多機(jī)會。
第二,網(wǎng)格應(yīng)用開發(fā)界面與使用界面還很差
GGF的界面領(lǐng)域還沒有工作組,只有幾個研究組,都在做偏重于計算和數(shù)據(jù)方面的研究。OGSA/Globus主要提供API界面。IBM、HP、Sun、BEA、微軟等公司都推出了類似Visual Studio.Net這樣的工具。但它們屬于網(wǎng)格計算機(jī)的庫函數(shù)開發(fā)工具的層次。
中科院計算所織女星網(wǎng)格小組正在研究開發(fā)的GSML軟件包就是為了解決上述問題。目前國際同行尚未有相同工作。
第三,支持網(wǎng)格的超級服務(wù)器的需求尚不清楚。
高性能計算機(jī)如何支持網(wǎng)格?它的體系結(jié)構(gòu)和操作系統(tǒng)該如何改變?這些問題目前還沒有答案。這則是曙光4000/5000的創(chuàng)新機(jī)會。
這方面的一個進(jìn)展是GGF關(guān)于使用CIM的共識。這樣至少對Sun公司的服務(wù)器而言,網(wǎng)格與網(wǎng)格結(jié)點可以采用相容的資源信息服務(wù)標(biāo)準(zhǔn),有助于網(wǎng)格與網(wǎng)格結(jié)點的無縫銜接。
第四,網(wǎng)格操作系統(tǒng)還不完善。
網(wǎng)格系統(tǒng)軟件是網(wǎng)格研究界投入最多的領(lǐng)域。但目前它仍有很多不完善的地方。比如:
● 網(wǎng)格文件系統(tǒng)還幾乎是空白(除微軟Yukon計劃之外)。
● 網(wǎng)格資源定位(亦稱命名)還是個難題。網(wǎng)格用戶身分(ID)還沒有定論。Sun倡導(dǎo)的Liberty技術(shù)可能會成功。
● 網(wǎng)格授權(quán)與訪問控制的工作還處于初級階段。
第五,網(wǎng)格的基礎(chǔ)研究還很薄弱。
這方面國際上還很少有成果發(fā)表。中科院計算所由諸葛海和徐志偉領(lǐng)頭的四項工作已取得一些初步成果,四項工作如下: (下轉(zhuǎn)E6版)
第一,網(wǎng)格資源空間模型。
第二,基于主動存儲(CAM)的網(wǎng)格計算機(jī)模型。
第三,面向用戶行為(BO)的信息網(wǎng)格時空模型。
第四,基于I/O自動機(jī)的網(wǎng)格安全模型。
目前,中科院計算所的織女星網(wǎng)格研究工作采用了“統(tǒng)一品牌、松散耦合”的組織方式,大體上分成知識網(wǎng)格、信息網(wǎng)格、服務(wù)網(wǎng)格、基礎(chǔ)研究四個內(nèi)容,參與人員涉及四個室,共100多人,研究領(lǐng)域包括:
● 織女星知識網(wǎng)格
● 織女星信息網(wǎng)格
● 織女星服務(wù)網(wǎng)格
● 織女星網(wǎng)格操作系統(tǒng)
● 織女星網(wǎng)格基礎(chǔ)研究
中科院計算所正在進(jìn)行的其它網(wǎng)格相關(guān)研究還有:
● 支持網(wǎng)格的藍(lán)鯨存儲服務(wù)器
● 面向網(wǎng)格的曙光超級服務(wù)器
正視網(wǎng)格研究中的不足
與國外同行相比,我們在網(wǎng)格研究中還應(yīng)正視以下幾個問題:
● 看不到網(wǎng)格是一種突破性創(chuàng)新技術(shù),以及它帶來的巨大機(jī)會,認(rèn)為它只不過是又一種中間件技術(shù)。
● 潛意識地認(rèn)為網(wǎng)格是別人的技術(shù),沒有意識到我們也是網(wǎng)格技術(shù)的創(chuàng)造者,自己必須要提出問題并回答問題。不要只依賴別人,只當(dāng)學(xué)生。
● 對網(wǎng)格的學(xué)習(xí)和思考還很膚淺,技術(shù)和心態(tài)都比較落后。自稱知道網(wǎng)格的人往往只看過一些別人的白皮書和介紹性文章,或粗淺地用過一些相關(guān)軟件,缺乏自我系統(tǒng)思考和深入研究。
● 習(xí)慣于家庭作業(yè)方式,把問題推給上級和用戶。由于網(wǎng)格是一種正在發(fā)展的新技術(shù),新問題很多,這種心態(tài)對網(wǎng)格的創(chuàng)新就特別有害。
對因特網(wǎng)路線和Extreme Programming等有利于網(wǎng)格創(chuàng)新的技術(shù)路線領(lǐng)會不深,習(xí)慣于照搬落后的軟件工程教條,很容易流于開發(fā)復(fù)雜而膚淺的系統(tǒng)。
網(wǎng)格的關(guān)鍵創(chuàng)新就在2003~2005這幾年出現(xiàn),我們一定要有危機(jī)感、緊迫感,抓住網(wǎng)格帶來的硬件機(jī)遇。
 網(wǎng)格操作系統(tǒng)的基本結(jié)構(gòu)
|