摘要:網(wǎng)格技術(shù)目前已成為e-business和e-science的研究熱點(diǎn)。網(wǎng)格體系結(jié)構(gòu)是構(gòu)建網(wǎng)格系統(tǒng)的基礎(chǔ)。本文在分析科學(xué)計(jì)算網(wǎng)格、數(shù)據(jù)網(wǎng)格、知識(shí)網(wǎng)格、WEB服務(wù)網(wǎng)格等多種網(wǎng)格體系結(jié)構(gòu)的基礎(chǔ)上,給出網(wǎng)格體系結(jié)構(gòu)研究的最新成果,并指出網(wǎng)格體系結(jié)構(gòu)研究的熱點(diǎn)及有待解決的問(wèn)題。
關(guān)鍵詞:網(wǎng)格 網(wǎng)格體系結(jié)構(gòu) 網(wǎng)格協(xié)議
一、引言
網(wǎng)格[1]是一種元計(jì)算技術(shù)(Metacomputing)[5],它就是將物理上分布、系統(tǒng)異構(gòu)的多種計(jì)算資源通過(guò)高速網(wǎng)絡(luò)連接起來(lái),共同解決大型應(yīng)用問(wèn)題。網(wǎng)格體系結(jié)構(gòu)主要是研究網(wǎng)格系統(tǒng)的基本功能結(jié)構(gòu)及各功能實(shí)體間的接口關(guān)系。國(guó)外已有很多項(xiàng)目在進(jìn)行網(wǎng)格研究,比較重要的有Globus[15]和Legion[16]以及近來(lái)投入商用的Web Service[12]等,它們都對(duì)網(wǎng)格體系結(jié)構(gòu)的研究作出了巨大的貢獻(xiàn)。
網(wǎng)格在產(chǎn)生初期主要集中在高性能的科學(xué)計(jì)算及仿真領(lǐng)域,現(xiàn)在的網(wǎng)格計(jì)算不再局限于此,已出現(xiàn)了不同應(yīng)用領(lǐng)域的網(wǎng)格,參見(jiàn)圖一所示。面向不同應(yīng)用領(lǐng)域的網(wǎng)格系統(tǒng),在功能體系上有不同的特征及要求,而網(wǎng)格體系結(jié)構(gòu)則研究的是一般網(wǎng)格系統(tǒng)的通用功能體系及其相互關(guān)系,它是對(duì)各專用網(wǎng)格系統(tǒng)的抽象與概括。本文的主要目的是通過(guò)對(duì)科學(xué)計(jì)算網(wǎng)格、數(shù)據(jù)網(wǎng)格、知識(shí)網(wǎng)格及Web服務(wù)網(wǎng)格體系結(jié)構(gòu)的分析,給出網(wǎng)格體系結(jié)構(gòu)研究的最新研究成果,并指出它研究的主要問(wèn)題及下一步的研究方向。
二、面向科學(xué)計(jì)算及仿真應(yīng)用的網(wǎng)格體系結(jié)構(gòu)
固名思義,面向科學(xué)計(jì)算及仿真應(yīng)用網(wǎng)格的基本功能,就是利用網(wǎng)格技術(shù)將多種復(fù)雜的分布式的計(jì)算資源組織起來(lái),形成一個(gè)分布式、松耦合的巨型計(jì)算系統(tǒng),該計(jì)算系統(tǒng)的主要任務(wù)是完成超大規(guī)模的、復(fù)雜的仿真和計(jì)算任務(wù),如中長(zhǎng)期天氣預(yù)報(bào)、航空航天跨領(lǐng)域的安全仿真等等。科學(xué)計(jì)算及仿真應(yīng)用網(wǎng)格是目前研究最早成果最多的網(wǎng)格,它也是網(wǎng)格研究的起點(diǎn),該網(wǎng)格的基本體系結(jié)構(gòu)如圖二[14]所示。

圖一網(wǎng)格應(yīng)用的分類
科學(xué)計(jì)算網(wǎng)格體系結(jié)構(gòu)的基本特征是系統(tǒng)中雖然有數(shù)據(jù),但主要問(wèn)題或關(guān)鍵問(wèn)題是組織、訪問(wèn)和管理計(jì)算任務(wù),這是因?yàn)榭茖W(xué)計(jì)算問(wèn)題一般都是計(jì)算密集型問(wèn)題,其CPU的開(kāi)銷是巨大的,因此,如何將一個(gè)大問(wèn)題分解為并發(fā)的任務(wù),并將這些任務(wù)分配到多個(gè)異構(gòu)的計(jì)算系統(tǒng)中去,同時(shí)將這些并發(fā)的任務(wù)有機(jī)的組織起來(lái),以盡量小的管理開(kāi)銷達(dá)到完成一個(gè)共同計(jì)算任務(wù)的目的,則成為科學(xué)計(jì)算網(wǎng)格的中心任務(wù)。
從圖二可以看出,該網(wǎng)格體系結(jié)構(gòu)大致可分為應(yīng)用層、網(wǎng)格通用服務(wù)及本地資源層。從網(wǎng)格通用服務(wù)來(lái)看,它是靠建立一組通用服務(wù)完成與各本地資源的通信連接,并為上層應(yīng)用提供訪問(wèn)接口。在廣域范圍內(nèi)的科學(xué)計(jì)算問(wèn)題的核心是性能問(wèn)題,在目前的技術(shù)條件下,影響科學(xué)計(jì)算網(wǎng)格性能的一個(gè)重因素是通信問(wèn)題,因?yàn)楦饔?jì)算任務(wù)之間往往存在大量的數(shù)據(jù)交換,但是因目前的通信技術(shù)還難以滿足在這樣大的范圍內(nèi)進(jìn)行大吞吐量的數(shù)據(jù)交換,因此要盡可能減少因通信而帶來(lái)的性能下降。這就要求在任務(wù)管理和分配的過(guò)程中,要進(jìn)行任務(wù)的優(yōu)化,要盡量使計(jì)算和通信過(guò)程重疊,提高系統(tǒng)的并發(fā)程度,增加計(jì)算粒度,減少任務(wù)之間的耦合度或用冗余的計(jì)算減少通信開(kāi)銷,或者在通信傳輸上采用一些新技術(shù)提高傳輸效率,如集結(jié)成組傳輸、數(shù)據(jù)壓縮、調(diào)整傳輸協(xié)議的某些參數(shù)或采用特殊協(xié)議等等。因此在應(yīng)用過(guò)程中,應(yīng)注意在計(jì)算精度與通信能力之間作出平衡。
從科學(xué)計(jì)算網(wǎng)格的體系結(jié)構(gòu)可以看出,這類網(wǎng)格對(duì)通信服務(wù)及任務(wù)分解及調(diào)度提出較高的要求。
科學(xué)計(jì)算網(wǎng)格的實(shí)例是Cactus, Globus[15]是科學(xué)計(jì)算網(wǎng)格系統(tǒng)一個(gè)最著名的組件,它的概念、功能、組成及結(jié)構(gòu)對(duì)現(xiàn)在網(wǎng)格的研究有著重要的影響。
對(duì)通用網(wǎng)格服務(wù)的研究是網(wǎng)格體系結(jié)構(gòu)研究的重要內(nèi)容,從圖二可以看出,通用網(wǎng)格服務(wù)包含很多方面,它們的功能及層次成不一樣。但它們的總體功能是完成網(wǎng)格資源的統(tǒng)一訪問(wèn),為上層應(yīng)用提供統(tǒng)一的訪問(wèn)接口(API或SDK),有的是為了統(tǒng)一異構(gòu)資源的訪問(wèn)接口,協(xié)調(diào)多個(gè)用戶同步訪問(wèn)同一資源的問(wèn)題;有的是完成多個(gè)資源的聚集管理,包括查找、分類等等

圖二 科學(xué)計(jì)算網(wǎng)格的體系結(jié)構(gòu)
總體上講,科學(xué)計(jì)算網(wǎng)格至少需要具備三種基本功能:(1)任務(wù)管理,用戶通過(guò)該功能向網(wǎng)格提交任務(wù)、為任務(wù)指定所需資源、刪除任務(wù)并監(jiān)測(cè)任務(wù)的運(yùn)行狀態(tài);(2)任務(wù)調(diào)度,用戶提交的任務(wù)由該功能按照任務(wù)的類型、所需資源、可用資源等情況安排運(yùn)行日程和策略;(3)資源管理,確定并監(jiān)測(cè)網(wǎng)格資源狀況,收集任務(wù)運(yùn)行時(shí)的資源占用數(shù)據(jù)。
三、數(shù)據(jù)網(wǎng)格的體系結(jié)構(gòu)
數(shù)據(jù)網(wǎng)格[14] 是以大規(guī)模數(shù)據(jù)的共享、存貯、傳輸及分析為基本特征。初期的數(shù)據(jù)網(wǎng)格項(xiàng)目就是為了管理高能物理試驗(yàn)的海量數(shù)據(jù)而建立的,數(shù)據(jù)網(wǎng)格系統(tǒng)一般都有海量數(shù)據(jù)的聯(lián)

圖三數(shù)據(jù)網(wǎng)格的體系結(jié)構(gòu)
機(jī)采集系統(tǒng),如高能物理儀器,它可以以Pbytes/Sec量級(jí)產(chǎn)生數(shù)據(jù);高速數(shù)據(jù)傳輸,根據(jù)不同的應(yīng)用,數(shù)據(jù)傳輸速率從100M—2.5G不等;從地域上講,可跨世界多個(gè)國(guó)家和地區(qū)。海量數(shù)據(jù)的共享、訪問(wèn)、控制、管理及傳輸是數(shù)據(jù)網(wǎng)格的核心問(wèn)題。著名的數(shù)據(jù)網(wǎng)格有EU Data Grid和GriphyN等。數(shù)據(jù)網(wǎng)格的體系結(jié)構(gòu)參見(jiàn)圖三[14]所示。
從圖三可以看出,數(shù)據(jù)網(wǎng)格體系結(jié)構(gòu)中最明顯的特征是在網(wǎng)格通用服務(wù)層中增加或強(qiáng)化了一些數(shù)據(jù)庫(kù)或數(shù)據(jù)管理服務(wù),如數(shù)據(jù)管理(Data Management)、元數(shù)據(jù)管理(Metadata Management)、對(duì)象-文件的映射(Object-File Mapping)、復(fù)制管理(Replication Management)、SQL數(shù)據(jù)庫(kù)服務(wù)(SQL Database Server)、復(fù)制目錄(Replica Catalog)等。
數(shù)據(jù)網(wǎng)格以海量數(shù)據(jù)的存貯、傳輸、共享及分析為基本任務(wù),因此數(shù)據(jù)網(wǎng)格必須如下能力:分析任務(wù)的能力,主要完成海量數(shù)據(jù)的分析,并對(duì)分析結(jié)果進(jìn)行可視化處理,以便用戶使用;隨時(shí)掌握網(wǎng)絡(luò)中資源的能力;執(zhí)行任務(wù)程序的能力,可根據(jù)用戶需要執(zhí)行分析程序;任意數(shù)據(jù)傳輸?shù)哪芰?,?shù)據(jù)傳輸是數(shù)據(jù)網(wǎng)格基礎(chǔ)通信服務(wù),它對(duì)通信能力的要求相當(dāng)高,突發(fā)強(qiáng);判定和保障服務(wù)質(zhì)量的能力;從錯(cuò)誤中恢復(fù)的能力等等。
數(shù)據(jù)網(wǎng)格的實(shí)例就是歐洲的數(shù)據(jù)網(wǎng)格(EU Data Grid),它主要為高能物理研究而建立的,還有其它諸多數(shù)據(jù)網(wǎng)格項(xiàng)目如下:Particle Physics Data Grid (US, DOE),GriPhyN(US, NSF),iVDGL (US, NSF),TeraGrid (US, NSF),European Data Grid (EU,EC),DataTAG(EU, EC), Japanese Grid Projects(APGrid,Japan)。數(shù)據(jù)網(wǎng)格是近來(lái)發(fā)展最快的項(xiàng)目。