主數(shù)據(jù)管理要點概覽

主數(shù)據(jù)是數(shù)據(jù)之源，是數(shù)據(jù)資產(chǎn)管理的核心，是信息系統(tǒng)互聯(lián)互通的基石，是信息化和數(shù)字化的重要基礎(chǔ)。

主數(shù)據(jù)指滿足跨部門業(yè)務(wù)協(xié)同需要的、反映核心業(yè)務(wù)實體狀態(tài)屬性的基礎(chǔ)信息。主數(shù)據(jù)相對交易數(shù)據(jù)而言，屬性相對穩(wěn)定，準(zhǔn)確度要求更高，唯一識別。

主數(shù)據(jù)管理是一系列規(guī)則、應(yīng)用和技術(shù)，用以協(xié)調(diào)和管理與企業(yè)的核心業(yè)務(wù)實體相關(guān)的活動。通俗來講，良好的主數(shù)據(jù)治理、共享和應(yīng)用主要包含：搭建一個數(shù)據(jù)治理平臺、建立兩個體系、實現(xiàn)主數(shù)據(jù)三性特征、達(dá)到四個統(tǒng)一、實現(xiàn)五個超越、提供六類服務(wù)。

圖1 一體化數(shù)據(jù)治理、共享和應(yīng)用全景圖

1）一平臺：搭建一個一體化數(shù)據(jù)治理和共享平臺；

2）兩體系：建立兩個體系（數(shù)據(jù)標(biāo)準(zhǔn)體系和保障體系）；

3）三性特征：確保主數(shù)據(jù)三性特征（唯一性、準(zhǔn)確性、共享性）；

4）四個統(tǒng)一：達(dá)到四個統(tǒng)一（統(tǒng)一標(biāo)準(zhǔn)、統(tǒng)一來源、統(tǒng)一接口、統(tǒng)一服務(wù)）；

5）五個超越：實現(xiàn)五個超越（超越部門、超越流程、超越主題、超越系統(tǒng)、超越技術(shù)）；

6）六類服務(wù)：提供六種數(shù)據(jù)服務(wù)（數(shù)據(jù)訂閱/分發(fā)服務(wù)、主數(shù)據(jù)查詢/申請服務(wù)、數(shù)據(jù)調(diào)用API服務(wù)、公共數(shù)據(jù)資源池、數(shù)據(jù)資源服務(wù)、數(shù)據(jù)即時服務(wù)）。

建立企業(yè)級的、一體化的數(shù)據(jù)治理和共享平臺，確保數(shù)據(jù)資源中心的數(shù)據(jù)質(zhì)量和安全管理。詳細(xì)功能描述可以參照數(shù)據(jù)治理平臺工具前世今生。

圖2 一體化數(shù)據(jù)治理與服務(wù)平臺功能架構(gòu)

基于Spring boot框架, 引入Eureka、Zuul、Feign、Ribbon等Spring cloud相關(guān)組件，形成微服務(wù)解決方案,前端頁面應(yīng)用服務(wù)實現(xiàn)前后端分離。

圖3 數(shù)據(jù)治理平臺技術(shù)框架

云計算為數(shù)據(jù)管理工具提供了能夠滿足“共享服務(wù)”功能的新的架構(gòu)模式，采用微服務(wù)技術(shù)滿足數(shù)據(jù)管理工具的高可用性、穩(wěn)定性和易用性。人工智能為主數(shù)據(jù)清洗提供了自動化思路，利用自然語言處理及數(shù)據(jù)標(biāo)準(zhǔn)庫提升數(shù)據(jù)質(zhì)量。

基于統(tǒng)一技術(shù)架構(gòu)、統(tǒng)一指標(biāo)數(shù)據(jù)驅(qū)動的元數(shù)據(jù)（業(yè)務(wù)元數(shù)據(jù)、管理元數(shù)據(jù)、技術(shù)元數(shù)據(jù)等）、統(tǒng)一治理工具、統(tǒng)一安全管控，通過不同的模塊組合，形成不同的數(shù)據(jù)服務(wù)和治理解決方案；

圖4 一體化數(shù)據(jù)治理和服務(wù)應(yīng)用場景

實現(xiàn)數(shù)據(jù)資產(chǎn)“三全管理”：

1）全生命周期（時間）：基于數(shù)據(jù)指標(biāo)驅(qū)動的元數(shù)據(jù)的數(shù)據(jù)資產(chǎn)全過程管理，采集、存儲、應(yīng)用及管理過程的全記錄與監(jiān)控。權(quán)衡效率和需求之間的關(guān)系，合理分級存儲和保留、銷毀數(shù)據(jù)；

2）全流程（空間）：基于數(shù)據(jù)指標(biāo)驅(qū)動的、元數(shù)據(jù)的數(shù)據(jù)資產(chǎn)溯源管理（血緣與影響分析），數(shù)據(jù)來源、存儲位置、處理方式、流轉(zhuǎn)過程、安全稽查規(guī)則，能追本溯源的發(fā)現(xiàn)所有資產(chǎn)的“前世今生”。

3）全景式（場景）：基于指標(biāo)數(shù)據(jù)驅(qū)動的資產(chǎn)全場景視圖，從應(yīng)用場景的維度，既有全局規(guī)劃的管理者，也有關(guān)注細(xì)節(jié)定義的使用者，還有加工、運維的開發(fā)者，提供多層次的圖形化展示，滿足應(yīng)用場景的圖形查詢和輔助分析。

圖5 數(shù)據(jù)管理體系架構(gòu)

數(shù)據(jù)管理體系包含：數(shù)據(jù)標(biāo)準(zhǔn)管理體系、數(shù)據(jù)管控體系、數(shù)據(jù)技術(shù)服務(wù)體系、數(shù)據(jù)質(zhì)量要求、數(shù)據(jù)安全要求等。

1）數(shù)據(jù)標(biāo)準(zhǔn)管理體系包含業(yè)務(wù)標(biāo)準(zhǔn)（編碼規(guī)則、分類規(guī)則、描述規(guī)則等)、數(shù)據(jù)模型標(biāo)準(zhǔn)。數(shù)據(jù)標(biāo)準(zhǔn)管理體系在建設(shè)梳理的過程中，一般會衍生出一套代碼體系表或稱主數(shù)據(jù)資產(chǎn)目錄。數(shù)據(jù)管理標(biāo)準(zhǔn)體系是數(shù)據(jù)管理工作的重中之重，通過主數(shù)據(jù)標(biāo)準(zhǔn)化，才能為實現(xiàn)部門和系統(tǒng)間的數(shù)據(jù)集成和共享，打通企業(yè)橫向產(chǎn)業(yè)鏈和縱向管控奠定數(shù)據(jù)基礎(chǔ)。

2）數(shù)據(jù)管控體系包括主數(shù)據(jù)管理組織、制度、流程、應(yīng)用及管理評價五部分。

3）數(shù)據(jù)技術(shù)服務(wù)體系：數(shù)據(jù)管理工具及技術(shù)服務(wù)體系。

4）數(shù)據(jù)質(zhì)量要求：數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)、質(zhì)量評估等。

5）數(shù)據(jù)安全要求：數(shù)據(jù)分類、分級授權(quán)，數(shù)據(jù)模型等管理。

建五位一體數(shù)據(jù)運維服務(wù)體系，加強應(yīng)用推廣的組織和培訓(xùn)指導(dǎo)，有序推進(jìn)數(shù)據(jù)共享、應(yīng)用

圖6 五位一體數(shù)據(jù)運維服務(wù)體系

在一個系統(tǒng)、一個平臺，甚至一個企業(yè)范圍內(nèi)，主數(shù)據(jù)實體要求具有唯一標(biāo)識即數(shù)據(jù)編碼，同名同義，保證同一個對象在應(yīng)用的唯一性，如：統(tǒng)一員工和組織主數(shù)據(jù)，對所有系統(tǒng)的員工和組織進(jìn)行規(guī)范。

主數(shù)據(jù)實體內(nèi)容正確性，數(shù)據(jù)內(nèi)容符合預(yù)期, 真實反映被描述對象；格式合規(guī)性，數(shù)據(jù)格式 (包括數(shù)據(jù)類型、數(shù)值范圍、數(shù)據(jù)取值) 。進(jìn)入主數(shù)據(jù)管理的數(shù)據(jù)實體一定要確保的準(zhǔn)確性，不能同名不同義。在主數(shù)據(jù)日常管理中，需要優(yōu)先從權(quán)威途徑獲得主數(shù)據(jù)，如將國家各部委基礎(chǔ)庫以及企業(yè)通用主數(shù)據(jù)庫（“人口基礎(chǔ)信息庫”、“法人單位基礎(chǔ)信息庫”、“自然資源和空間地理基礎(chǔ)信息庫”、“宏觀經(jīng)濟信息數(shù)據(jù)庫”）融合連通，為企事業(yè)單位提供服務(wù)。

跨部門、跨系統(tǒng)高度共享的數(shù)據(jù)，可以被多個認(rèn)識主體接收和利用。明確主數(shù)據(jù)的獲取來源、加快數(shù)據(jù)的獲取效率催生了跨業(yè)務(wù)協(xié)同和跨系統(tǒng)共享的管理實施模式，這些概念使得各自為政的信息系統(tǒng)在共享整合過程中有據(jù)可循、有標(biāo)可依。

圖7 主數(shù)據(jù)代碼庫

支持企業(yè)多業(yè)務(wù)類型、多地域經(jīng)營的應(yīng)用，在流程規(guī)范、系統(tǒng)集成、主題共享、系統(tǒng)數(shù)據(jù)一致性等方面都需要通過數(shù)據(jù)標(biāo)準(zhǔn)化來支撐，從而最終提高管理效率，加強管控落地。

圖8 數(shù)據(jù)共享性示意圖

數(shù)據(jù)治理工作在提升企業(yè)整體價值的同時，也為企業(yè)內(nèi)部的數(shù)據(jù)共享等具體提供了良好的和可持續(xù)的數(shù)據(jù)基礎(chǔ)，為數(shù)據(jù)的進(jìn)一步挖掘和分析夯實基礎(chǔ)。

在組織范圍統(tǒng)一了數(shù)據(jù)標(biāo)準(zhǔn)，所有成員單位都遵守同樣的數(shù)據(jù)標(biāo)準(zhǔn)，使標(biāo)準(zhǔn)有法可依；

統(tǒng)一數(shù)據(jù)產(chǎn)生來源，統(tǒng)一配碼，確保數(shù)據(jù)唯一性，避免重復(fù)填報、不一致；

采用數(shù)據(jù)總線的集成方式、對數(shù)據(jù)集成工作進(jìn)行標(biāo)準(zhǔn)化  的統(tǒng)一化處理，簡化工作，避免了網(wǎng)狀結(jié)構(gòu)的對接復(fù)雜接口。

為目標(biāo)系統(tǒng)和應(yīng)用提供統(tǒng)一數(shù)據(jù)服務(wù)，避免了分散管理，數(shù)據(jù)不一致。

超越部門：主數(shù)據(jù)不是那種局限于某個具體職能部門的數(shù)據(jù)庫。主數(shù)據(jù)是滿足跨部門業(yè)務(wù)協(xié)同需要的，是各個職能部門在開展業(yè)務(wù)過程中都需要的數(shù)據(jù)，是所有職能部門及其業(yè)務(wù)過程的“最大公約數(shù)據(jù)”。

超越流程：主數(shù)據(jù)不依賴于某個具體的業(yè)務(wù)流程，但卻是主要業(yè)務(wù)流程都需要的。主數(shù)據(jù)的核心是反映對象的狀態(tài)屬性，它不隨某個具體流程而發(fā)生改變，而是作為其完整流程的不變要素。

超越主題：與信息工程方法論中通過聚類方法選擇主題數(shù)據(jù)不同，主數(shù)據(jù)是不依賴于特定業(yè)務(wù)主題卻又服務(wù)于所有業(yè)務(wù)主題的有關(guān)業(yè)務(wù)實體的核心信息。例如：物料主數(shù)據(jù)，它有自身的自然屬性，如：規(guī)格、材質(zhì)，也有業(yè)務(wù)賦予的核心屬性，如：設(shè)計參數(shù)、工藝參數(shù)、采購、庫存要求、計量要求、財務(wù)要求等。同時，主數(shù)據(jù)也要服務(wù)于業(yè)務(wù)，可謂是———從業(yè)務(wù)中來到業(yè)務(wù)中去。

超越系統(tǒng)：主數(shù)據(jù)管理系統(tǒng)是信息系統(tǒng)建設(shè)的基礎(chǔ)，應(yīng)該保持相對獨立，它服務(wù)于但是高于其它業(yè)務(wù)信息系統(tǒng)，因此對主數(shù)據(jù)的管理要集中化、系統(tǒng)化、規(guī)范化。

超越技術(shù)：由于主數(shù)據(jù)要滿足跨部門的業(yè)務(wù)協(xié)同，因而必須適應(yīng)采用不同技術(shù)規(guī)范的不同業(yè)務(wù)系統(tǒng)，所以主數(shù)據(jù)必須應(yīng)用一種能夠為各類異構(gòu)系統(tǒng)所兼容的技術(shù)條件。從這個意義上講，面向微服務(wù)架構(gòu)為主數(shù)據(jù)的實施提供了有效的工具。在不同環(huán)境、不同場景下，主數(shù)據(jù)的技術(shù)是可以靈活應(yīng)對的。主數(shù)據(jù)的集成架構(gòu)是多樣的，如：總線型結(jié)構(gòu)、星型結(jié)構(gòu)、端到端結(jié)構(gòu)；集成技術(shù)也是多樣的，如：webservice、REST、ETL、MQ、kafka等；不論是架構(gòu)還是技術(shù)，沒有最好的只有更合適的。企業(yè)在做技術(shù)選型的時候，要充分考慮企業(yè)的核心業(yè)務(wù)需求和未來的發(fā)展要求去構(gòu)建自身的主數(shù)據(jù)技術(shù)體系。

以下為6種比較常用的數(shù)據(jù)服務(wù)方式，其中，1-4是主數(shù)據(jù)應(yīng)用的服務(wù)，5-6已經(jīng)超越主數(shù)據(jù)的概念，可以針對交易數(shù)據(jù)，指標(biāo)數(shù)據(jù)提供數(shù)據(jù)共享服務(wù)。

圖9 數(shù)據(jù)服務(wù)6種方式

簡單來講，就是傳統(tǒng)的主數(shù)據(jù)訂閱分發(fā)模式，通常通過ESB來分發(fā)；

圖10 主數(shù)據(jù)訂閱分發(fā)模式

將所有類型的主數(shù)據(jù)注冊到ESB平臺上，各目標(biāo)系統(tǒng)提供接收各類主數(shù)據(jù)的接口，到ESB平臺自主訂閱相應(yīng)的主數(shù)據(jù)，所有目標(biāo)系統(tǒng)通過ESB平臺訂閱規(guī)范（參照ESB平臺訂閱文檔）即可完成數(shù)據(jù)的訂閱服務(wù)。

6.2.1主數(shù)據(jù)查詢服務(wù)：

基于頁面的查詢服務(wù)，通常是提供給人來檢索的，將系統(tǒng)內(nèi)部的查詢頁面或者外部企查查的相關(guān)頁面封裝成服務(wù)，供其他系統(tǒng)嵌套調(diào)用；

圖11 主數(shù)據(jù)查詢服務(wù)

數(shù)據(jù)治理平臺面向企業(yè)所有終端用戶的查詢封裝成服務(wù)，集成到各應(yīng)用系統(tǒng)，各應(yīng)用系統(tǒng)可以方便快捷地查詢各類主數(shù)據(jù)，提高查詢效率，更好的用戶體驗。

針對外部數(shù)據(jù)來源（如：企查查），數(shù)據(jù)治理平臺首先集成企查查相關(guān)頁面，其他各應(yīng)用系統(tǒng)再與數(shù)據(jù)治理平臺進(jìn)行集成，減少對接成本。

6.2.2主數(shù)據(jù)申請服務(wù)：

主數(shù)據(jù)將所有數(shù)據(jù)的申請功能封裝成服務(wù)，供應(yīng)用系統(tǒng)調(diào)用。當(dāng)業(yè)務(wù)系統(tǒng)有添加主數(shù)據(jù)的需求時，不需要登陸主數(shù)據(jù)平臺，只需要正常在業(yè)務(wù)系統(tǒng)提交新增申請，就可以以任務(wù)的形式提交到數(shù)據(jù)治理平臺，數(shù)據(jù)治理平臺處理完成后，以消息的形式反饋至業(yè)務(wù)系統(tǒng)；此服務(wù)部署在API網(wǎng)關(guān)上。

圖12 主數(shù)據(jù)申請服務(wù)

應(yīng)用系統(tǒng)將主數(shù)據(jù)申請功能封裝成服務(wù)，供各應(yīng)用系統(tǒng)調(diào)用。主數(shù)據(jù)申請服務(wù)注冊在ESB數(shù)據(jù)服務(wù)總線平臺上，提供主數(shù)據(jù)申請服務(wù)的數(shù)據(jù)類型如港口、外部單位，具體調(diào)用地址各應(yīng)用系統(tǒng)可聯(lián)系集成平臺。業(yè)務(wù)系統(tǒng)通過調(diào)用申請服務(wù)給主數(shù)據(jù)傳遞一個申請任務(wù)后，由主數(shù)據(jù)運維人員進(jìn)行處理，處理完成后以消息形式反饋至業(yè)務(wù)系統(tǒng)。

指定數(shù)據(jù)類型，通過關(guān)鍵字查詢數(shù)據(jù)詳細(xì)信息。基于接口層面的點對點的方式的查詢服務(wù)（模糊查詢、精確查詢、組合查詢），通常時提供給系統(tǒng)接口調(diào)用的，業(yè)務(wù)系統(tǒng)指定關(guān)鍵字來調(diào)用；此服務(wù)部署在API網(wǎng)關(guān)上；

圖13 數(shù)據(jù)調(diào)用API服務(wù)

開放主數(shù)據(jù)平臺基礎(chǔ)庫只讀權(quán)限，各應(yīng)用系統(tǒng)可直接查詢調(diào)用。公共數(shù)據(jù)資源池相當(dāng)于主數(shù)據(jù)生產(chǎn)庫的一個鏡像，業(yè)務(wù)系統(tǒng)可直接訪問，只有只讀權(quán)限。一般用于業(yè)務(wù)系統(tǒng)需要進(jìn)行大量數(shù)據(jù)初始化操作的時候采用這種方式；

圖14 公共數(shù)據(jù)資源池

該資源池數(shù)據(jù)庫與主數(shù)據(jù)生產(chǎn)庫具有實時同步機制，業(yè)務(wù)系統(tǒng)直接調(diào)用主數(shù)據(jù)系統(tǒng)的主數(shù)據(jù)，真正確保唯一源頭，實現(xiàn)基礎(chǔ)數(shù)據(jù)準(zhǔn)確和一致性。具體對接方式一般是業(yè)務(wù)系統(tǒng)確認(rèn)采取這種方式后，指明需要哪幾類數(shù)據(jù)，我們再給出訪問資源池數(shù)據(jù)庫的連接信息，字段說明等。

通過相關(guān)工具（Sqoop等）將源系統(tǒng)的數(shù)據(jù)（HR、財務(wù)、業(yè)務(wù)等）抽取到大數(shù)據(jù)平臺，經(jīng)過整合、清洗、歸并后形成各種主題數(shù)據(jù)，對外提供不同的數(shù)據(jù)服務(wù)（主數(shù)據(jù)、交易數(shù)據(jù)、指標(biāo)數(shù)據(jù)）；數(shù)據(jù)資源服務(wù)是各類數(shù)據(jù)高級應(yīng)用，是將源系統(tǒng)數(shù)據(jù)大集中在數(shù)據(jù)資源中心，通過大數(shù)據(jù)技術(shù)工具，提供各類數(shù)據(jù)自助式服務(wù)。

基于ES（ElasticSearch）搜索服務(wù)器，面向所有業(yè)務(wù)系統(tǒng)提供快速查詢檢索的服務(wù)。主要原理是將不同類型的全量主數(shù)據(jù)同步到ES存儲服務(wù)器中，然后業(yè)務(wù)通過ES提供的API接口進(jìn)行查詢，解決了大數(shù)據(jù)量查詢時，查詢效率比較低的問題，提供了數(shù)據(jù)的及時服務(wù)。

ElasticSearch是一個基于Lucene的搜索服務(wù)器。它提供了一個分布式多用戶能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java開發(fā)的，并作為Apache許可條款下的開放源碼發(fā)布，是當(dāng)前流行的企業(yè)級搜索引擎。設(shè)計用于云計算中，能夠達(dá)到實時搜索，穩(wěn)定，可靠，快速，安裝使用方便。