最近幾周一直在最做數(shù)據(jù)集成方面的POC，真正感覺(jué)到了金融危機(jī)對(duì)信息化建設(shè)方面的影響。一個(gè)客戶要求做實(shí)時(shí)的信貸風(fēng)險(xiǎn)分析，具體要求是當(dāng)客戶辦理信貸業(yè)務(wù)時(shí)，首先從業(yè)務(wù)規(guī)則庫(kù)中將數(shù)據(jù)模型加載到數(shù)據(jù)庫(kù)中，然后再?gòu)膸讉€(gè)相關(guān)數(shù)據(jù)庫(kù)加載與客戶相關(guān)的業(yè)務(wù)數(shù)據(jù)，最后根據(jù)數(shù)據(jù)模型對(duì)加載的業(yè)務(wù)數(shù)據(jù)進(jìn)行計(jì)算，得出風(fēng)險(xiǎn)指數(shù)。該項(xiàng)目的限制有兩個(gè)方面：

1.      原來(lái)的系統(tǒng)實(shí)時(shí)性要求不高，2天出結(jié)果就可以，現(xiàn)在要求2小時(shí)內(nèi)必須算出結(jié)果。

2.      盡量利用現(xiàn)有的硬件，原則上不購(gòu)置新的硬件服務(wù)器。

其實(shí)想一想，這也是目前金融危機(jī)條件下大部分客戶的現(xiàn)狀，，一方面所有的企業(yè)都必須勒緊腰帶渡過(guò)難關(guān)。CIO們要求或者被要求降低IT成本。另一方面，IT還必須為幫助高層加強(qiáng)企業(yè)監(jiān)管、控制風(fēng)險(xiǎn)提供必須的底層技術(shù)支持，反應(yīng)在具體技術(shù)上就是如何在IT成本限制非常大的情況下建立卓有生效的數(shù)據(jù)集成系統(tǒng)。

以前去客戶的機(jī)房，見(jiàn)到很多以前淘汰下來(lái)的機(jī)器堆在旮旯里，布滿了灰塵，如果我們通過(guò)某種軟件把這些機(jī)器組成一個(gè)網(wǎng)格，充分發(fā)揮各個(gè)節(jié)點(diǎn)的計(jì)算能力，組成一個(gè)虛擬的計(jì)算平臺(tái)，其計(jì)算能力是完全能夠滿足當(dāng)前的實(shí)時(shí)數(shù)據(jù)集成需求的，而對(duì)這些節(jié)點(diǎn)進(jìn)行管理的軟件平臺(tái)其實(shí)就是數(shù)據(jù)網(wǎng)格的一種實(shí)現(xiàn)。

圖1：數(shù)據(jù)網(wǎng)格

數(shù)據(jù)網(wǎng)格說(shuō)白了就是通過(guò)軟件把一大堆服務(wù)器組成一個(gè)虛擬的并行計(jì)算平臺(tái)，該平臺(tái)有以下特點(diǎn)：

1.      它可以和各種數(shù)據(jù)源連接，如數(shù)據(jù)庫(kù)、文件、ERP、web服務(wù)、JMS等等，并將數(shù)據(jù)源的數(shù)據(jù)加載到數(shù)據(jù)網(wǎng)格中，根據(jù)計(jì)算的需要將所有的數(shù)據(jù)存儲(chǔ)在網(wǎng)格內(nèi)的節(jié)點(diǎn)上，在極限情況下，可以將所有數(shù)據(jù)源中的所有數(shù)據(jù)都加載到數(shù)據(jù)網(wǎng)格中，這樣前端應(yīng)用訪問(wèn)數(shù)據(jù)時(shí)，可以直接從數(shù)據(jù)網(wǎng)格取數(shù)據(jù)，從而避免訪問(wèn)數(shù)據(jù)源，這樣可以節(jié)省物理I/O的訪問(wèn)，而且即使數(shù)據(jù)源出現(xiàn)問(wèn)題，也不影響前端應(yīng)用的業(yè)務(wù)連續(xù)性。

2.      數(shù)據(jù)網(wǎng)格平臺(tái)的擴(kuò)展能力很強(qiáng)，數(shù)據(jù)網(wǎng)格平臺(tái)應(yīng)用的一個(gè)初衷就是為了應(yīng)付互聯(lián)網(wǎng)時(shí)代前端用戶的不可預(yù)測(cè)性，當(dāng)負(fù)載增加時(shí)，我們可以通過(guò)增加節(jié)點(diǎn)的方式往數(shù)據(jù)網(wǎng)格中添加服務(wù)器，從而近似線性地增加網(wǎng)格的處理能力。

3.      數(shù)據(jù)網(wǎng)格采用優(yōu)化的算法處理并行計(jì)算，當(dāng)一個(gè)計(jì)算任務(wù)到達(dá)時(shí)，數(shù)據(jù)網(wǎng)格可以根據(jù)數(shù)據(jù)網(wǎng)格的配置情況將該任務(wù)分為N個(gè)子任務(wù)，分配到各個(gè)節(jié)點(diǎn)去執(zhí)行，最大程度地進(jìn)行并行計(jì)算，從而大大提高吞吐量和減少系統(tǒng)響應(yīng)時(shí)間。

圖2：數(shù)據(jù)網(wǎng)格并行計(jì)算

實(shí)時(shí)的數(shù)據(jù)集成其實(shí)主要是兩個(gè)方面的問(wèn)題，一是從各種異構(gòu)數(shù)據(jù)源取出原始數(shù)據(jù)，二是根據(jù)數(shù)據(jù)模型對(duì)原始數(shù)據(jù)進(jìn)行加工計(jì)算。記得以前在做數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目時(shí)，數(shù)據(jù)庫(kù)廠商做性能測(cè)試POC,其實(shí)測(cè)的無(wú)非兩個(gè)方面：誰(shuí)的數(shù)據(jù)倉(cāng)庫(kù)磁盤I/O處理的好，誰(shuí)的數(shù)據(jù)倉(cāng)庫(kù)引擎多線程技術(shù)寫得好，可以充分利用硬件服務(wù)器的計(jì)算資源。采用數(shù)據(jù)網(wǎng)格技術(shù)可以做到：

1.      我們將所有的異構(gòu)數(shù)據(jù)源的數(shù)據(jù)事先都加載在數(shù)據(jù)網(wǎng)格中，這樣就避免的數(shù)據(jù)加載。

2.      數(shù)據(jù)網(wǎng)格采用并行計(jì)算的方式對(duì)原始數(shù)據(jù)進(jìn)行加工計(jì)算，從而大大降低系統(tǒng)的響應(yīng)時(shí)間，雖然淘汰的機(jī)器單臺(tái)處理能力有限，但多臺(tái)機(jī)器一起算，如果調(diào)度方法的當(dāng)，其能力可以做到非常強(qiáng)大。

在當(dāng)前金融危機(jī)IT投資受限的大背景下，我們采用數(shù)據(jù)網(wǎng)格技術(shù)可以充分挖掘企業(yè)現(xiàn)有的計(jì)算能力，來(lái)滿足新業(yè)務(wù)系統(tǒng)的IT需求，當(dāng)然它只是一種計(jì)算技術(shù)，對(duì)于數(shù)據(jù)質(zhì)量的問(wèn)題（Garbage-In,Garbage-Out）,還需要其它的手段加以解決。