三、模型驅(qū)動的標(biāo)準(zhǔn)落標(biāo)方案

1.落標(biāo)關(guān)鍵點(diǎn)剖析

根據(jù)筆者的經(jīng)驗與實踐，數(shù)據(jù)標(biāo)準(zhǔn)的落標(biāo)需要重點(diǎn)考慮三大問題：

問題1：什么數(shù)據(jù)需要制定哪些標(biāo)準(zhǔn) 

問題2：什么系統(tǒng)落什么標(biāo)準(zhǔn) 

問題3：什么人與什么時間執(zhí)行

如果這三個問題沒有想清楚，基本數(shù)據(jù)標(biāo)準(zhǔn)的梳理會停留在Excel層面，標(biāo)準(zhǔn)的政策會停留在墻上，無法走入每個設(shè)計者的頭腦和每個系統(tǒng)的每個字段。

我們先來說第一個問題，什么數(shù)據(jù)需要制定標(biāo)準(zhǔn)，首先我們回到數(shù)據(jù)標(biāo)準(zhǔn)所要解決問題的初衷，數(shù)據(jù)標(biāo)準(zhǔn)主要解決數(shù)據(jù)在共享，融合，匯集應(yīng)用中的不一致問題。好的，那么我們看哪些數(shù)據(jù)會出現(xiàn)在這個這三個環(huán)節(jié)中，以及哪些容易出現(xiàn)問題。對于與一個企事業(yè)組織來說，按照價值鏈，一般關(guān)注三大要素：客戶，產(chǎn)品，大運(yùn)營。IBM和TD將銀行業(yè)劃分為九大概念數(shù)據(jù)，也是圍繞客戶與產(chǎn)品的大運(yùn)營活動細(xì)分。那么有如下幾類數(shù)據(jù)會在數(shù)據(jù)應(yīng)用過程中，會更多出現(xiàn)融合和匯總的機(jī)會，需要格外注意。

第二個問題和第三個問題是實際工作中非常困擾的，落標(biāo)的大多數(shù)困難與此有關(guān)，因此我將其放在一起來說明。一般我將系統(tǒng)與數(shù)據(jù)分列如下列表：

總結(jié) 

通過這個表格的內(nèi)容，我們發(fā)現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)從源頭落地，會減少數(shù)據(jù)的處理成本，提高數(shù)據(jù)應(yīng)用的效益，缺點(diǎn)是對于存量系統(tǒng)和外購系統(tǒng)存在較大改動風(fēng)險和成本。如果從數(shù)據(jù)的倉庫層進(jìn)行落標(biāo)，比較容易著手處理，落標(biāo)后的下游數(shù)據(jù)系統(tǒng)則自動統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)，然而數(shù)倉層的報表應(yīng)用與業(yè)務(wù)系統(tǒng)的報表存在口徑不一致性在所難免，仍然需要源數(shù)據(jù)層進(jìn)行必要調(diào)整。

無論從哪一層入手，模型的優(yōu)良設(shè)計環(huán)節(jié)都是必要條件，否則整個落標(biāo)過程會沒有抓手，流程也不順暢。

2.落標(biāo)整體方案

無論是原系統(tǒng)數(shù)據(jù)還是數(shù)倉數(shù)據(jù)，都是不同的開發(fā)團(tuán)隊負(fù)責(zé)，遵循軟件開發(fā)標(biāo)準(zhǔn)的流程包括設(shè)計，開發(fā)，測試，上線，維護(hù)等環(huán)節(jié)，因此我們需要在這個過程中，將數(shù)據(jù)標(biāo)準(zhǔn)這個優(yōu)良的炮彈，送到最前線，同時，管理團(tuán)隊需要參與這個過程的關(guān)鍵節(jié)點(diǎn)中，這需要企業(yè)在數(shù)據(jù)管理上提高管理和執(zhí)行水平。

鑒于普通銀行當(dāng)前的數(shù)據(jù)基礎(chǔ)水平，數(shù)據(jù)的落標(biāo)同樣受到人力和財力的制約。所以一個自動化水平非常高的落標(biāo)方案是非常切合我國普通銀行的發(fā)展階段的。因此，本落標(biāo)方案的關(guān)鍵思想是在開發(fā)階段由模型設(shè)計人員進(jìn)行落標(biāo)，標(biāo)準(zhǔn)管理和架構(gòu)管理人員進(jìn)行評審和核準(zhǔn)，同時，自動檢測能力來提高執(zhí)行水平和激勵環(huán)節(jié)的落地。

《自動化落標(biāo)方案》

 2.1 標(biāo)準(zhǔn)的定位  

這里主要是在系統(tǒng)的需求設(shè)計和準(zhǔn)備過程中，我們對數(shù)據(jù)標(biāo)準(zhǔn)需要準(zhǔn)備好一些前提條件：

• 標(biāo)準(zhǔn)的技術(shù)規(guī)范已經(jīng)準(zhǔn)備好 

  數(shù)據(jù)標(biāo)準(zhǔn)已經(jīng)具有詳細(xì)的技術(shù)規(guī)范，包括物理數(shù)據(jù)類型，可以直接應(yīng)用的物理層上，并已經(jīng)準(zhǔn)備好邏輯數(shù)據(jù)類型到不同數(shù)據(jù)庫的類型映射。這里數(shù)據(jù)類型在DDM中是邏輯數(shù)據(jù)類型，具備自動類型轉(zhuǎn)換能力。

• 標(biāo)準(zhǔn)的主題已經(jīng)準(zhǔn)備好 

  標(biāo)準(zhǔn)的主題其實是標(biāo)準(zhǔn)的應(yīng)用范圍和檢索目錄，對于具備條件的銀行應(yīng)該設(shè)計出邏輯模型，對數(shù)據(jù)標(biāo)準(zhǔn)進(jìn)行業(yè)務(wù)組織。這樣在落標(biāo)過程中，這是重要的選擇依據(jù)。

• 標(biāo)準(zhǔn)已經(jīng)權(quán)威發(fā)布 

  標(biāo)準(zhǔn)已經(jīng)經(jīng)過討論，進(jìn)行了公開發(fā)布，具有流程上的正式性和權(quán)威性。

 2.2 模型設(shè)計中的落標(biāo) 

數(shù)據(jù)模型是一個更好的數(shù)據(jù)字典，其向上承接業(yè)務(wù)語義，向下實現(xiàn)物理數(shù)據(jù)，它不但包含了數(shù)據(jù)字典，更重要的是包含了業(yè)務(wù)的主題，業(yè)務(wù)主對象，數(shù)據(jù)關(guān)系，以及數(shù)據(jù)標(biāo)準(zhǔn)的映射。所以模型及其工具的運(yùn)用不但是企業(yè)數(shù)據(jù)管理是否成熟的重要標(biāo)志，也是數(shù)據(jù)標(biāo)準(zhǔn)落標(biāo)的重要依托。不進(jìn)行模型設(shè)計和管理，落標(biāo)操作則事倍功半，因為失去了管理的最佳時機(jī)。

通過創(chuàng)新一個模型工具，在開發(fā)階段，自動管理數(shù)據(jù)字典和模型，實現(xiàn)下面三個落標(biāo)操作。

• 建立標(biāo)準(zhǔn)和數(shù)據(jù)的映射 

• 標(biāo)準(zhǔn)落地的屬性繼承：

  一般情況下，數(shù)據(jù)字段落地標(biāo)準(zhǔn)時要引用標(biāo)準(zhǔn)中上述內(nèi)容，另還包含數(shù)據(jù)的標(biāo)準(zhǔn)代碼，其中強(qiáng)制性一致的是標(biāo)準(zhǔn)中的技術(shù)規(guī)范。

• 物理字段的落地衍生：

  對于一個標(biāo)準(zhǔn)落地的物理字段，如果語義本質(zhì)是相同的，并且業(yè)務(wù)規(guī)則沒有變化，不過滿足系統(tǒng)環(huán)境，而加上特定限定環(huán)境。比如“電話”在供應(yīng)商的表里叫“供應(yīng)商電話”，這是一種落地衍生情況，并不需要創(chuàng)建一個新的標(biāo)準(zhǔn)。如前一節(jié)所示有一些則需要新的標(biāo)準(zhǔn)或新的子類標(biāo)準(zhǔn)。

• 建立代碼的標(biāo)準(zhǔn)引用 ：

  對字段中的數(shù)據(jù)類型的引用進(jìn)行標(biāo)準(zhǔn)化，堅決杜絕Comment里手工寫枚舉代碼的情況。

• 標(biāo)準(zhǔn)化命名 

 2.3 模型的評審 

在模型的開發(fā)基本完成后，在系統(tǒng)的測試階段，我們加入模型的評審環(huán)節(jié)，這個作為系統(tǒng)上線的前奏，避免上線前的修改造成時間緊張等情況。

模型評審前需要創(chuàng)建模型基線，評審包含以下幾個內(nèi)容：

• 標(biāo)準(zhǔn)的落標(biāo)引用 

  模型工具應(yīng)該自動提供報告，重點(diǎn)檢查是否有重要的標(biāo)準(zhǔn)沒有引用和落地，通過自動化的工具，智能發(fā)現(xiàn)落標(biāo)的潛在問題。

• 自定義標(biāo)準(zhǔn)與詞典的評審和轉(zhuǎn)化

  DDM模型工具具備自定義數(shù)據(jù)標(biāo)準(zhǔn)和詞典等能力，通過與開發(fā)團(tuán)隊評審，提高自定義標(biāo)準(zhǔn)的轉(zhuǎn)化率，完善標(biāo)準(zhǔn)庫。

• 元數(shù)據(jù)的充足率

  模型工具應(yīng)該自動提供報告，列出中文名稱沒有填寫的字段。

• 其他模型質(zhì)量

  比如檢查模型主題覆蓋率等。

 2.4 上線的核準(zhǔn) 

一般情況下，系統(tǒng)的上線過程需要一個更加標(biāo)準(zhǔn)的流程，提交設(shè)計，文檔，測試報告，升級步驟等內(nèi)容，有專業(yè)的團(tuán)隊和流程工具來審核。在這個過程中，我們并不主張此環(huán)節(jié)進(jìn)行落標(biāo)的核準(zhǔn)，因為此環(huán)節(jié)已經(jīng)太晚，我推薦在評審環(huán)節(jié)完成落標(biāo)工作，在此環(huán)節(jié)中，只需要提交落標(biāo)和模型報告作為過審文檔。模型核準(zhǔn)環(huán)節(jié)包含以下幾個工作要做：

• 模型生產(chǎn)庫基線與封板

  根據(jù)評審時建立的模型分支，建立模型的生產(chǎn)庫基線，并進(jìn)行封板操作。

• 模型基線報告

  提供模型標(biāo)準(zhǔn)數(shù)據(jù)字典，標(biāo)準(zhǔn)落標(biāo)報告，模型質(zhì)量報告。

 2.5 自動監(jiān)測變化 

對于已經(jīng)發(fā)布的模型，隨著進(jìn)入維護(hù)期，某些升級的情況下，可能會有徒手修改庫表結(jié)構(gòu)的情況發(fā)生，為了保證模型與生產(chǎn)庫的一致，在自動檢測階段，主要負(fù)責(zé)定期發(fā)現(xiàn)不一致的情況，并發(fā)出預(yù)警郵件，過程如下。

3.新增和變更流程

在實際落標(biāo)過程中，需要新增或修改標(biāo)準(zhǔn)的情況是必然出現(xiàn)的。因此在設(shè)計階段或者模型評審階段，進(jìn)行變更流程。

4.角色與人力安排

根據(jù)銀行當(dāng)前的組織結(jié)構(gòu)，需要有建立“標(biāo)準(zhǔn)和架構(gòu)組”，至少2人編制，可以是虛擬組織結(jié)構(gòu)和兼職角色。

數(shù)據(jù)架構(gòu)師（1人）：由企業(yè)資深（10+年數(shù)據(jù)開發(fā)經(jīng)驗）數(shù)據(jù)設(shè)計人員或管理人員擔(dān)任，熟悉行業(yè)數(shù)據(jù)模型和企業(yè)主流業(yè)務(wù)邏輯模型，比較熟悉各系統(tǒng)模型情況。主要負(fù)責(zé)模型管控，落標(biāo)評審，模型質(zhì)量等工作。

標(biāo)準(zhǔn)管理員（1人）：由高級（5+年數(shù)據(jù)管理經(jīng)驗）數(shù)據(jù)標(biāo)準(zhǔn)設(shè)計和管理人員擔(dān)任，比較熟悉標(biāo)準(zhǔn)和企業(yè)業(yè)務(wù)邏輯模型。 主要負(fù)責(zé)標(biāo)準(zhǔn)維護(hù)，標(biāo)準(zhǔn)評審，模型質(zhì)量提高等工作。

5.存量數(shù)據(jù)如何落標(biāo)

• 存量系統(tǒng)的落標(biāo)是很多企業(yè)進(jìn)行標(biāo)準(zhǔn)化第一障礙，前面也進(jìn)行了痛點(diǎn)分析，那么如何解決落標(biāo)問題呢？我建議遵循下面方法。

• 存量系統(tǒng)先管理好數(shù)據(jù)模型和字典，這作為未來統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)的基礎(chǔ)。

• 摸清模型存量系統(tǒng)不符標(biāo)準(zhǔn)的情況，尤其是那些標(biāo)準(zhǔn)代碼，編碼規(guī)則，存儲格式等嚴(yán)重影響數(shù)據(jù)指標(biāo)和拉通匯集的情況。

• 根據(jù)非標(biāo)問題的影響程度，制定未來的落標(biāo)計劃，選擇合適的升級版本時機(jī)，進(jìn)行逐項的落標(biāo)。

• 未落標(biāo)前，可以先落標(biāo)ODS層或API層，這樣可以糾正后期應(yīng)用的標(biāo)準(zhǔn)化問題。

6.標(biāo)準(zhǔn)代碼的多標(biāo)準(zhǔn)處理

企業(yè)里存在多套標(biāo)準(zhǔn)是非常有可能的，比如一個客戶類型的代碼，原系統(tǒng)一套標(biāo)準(zhǔn)，數(shù)倉一套標(biāo)準(zhǔn)，報送EAST模型可能又是一套標(biāo)準(zhǔn)，那么怎么管理這多套標(biāo)準(zhǔn)呢？

• 建議對標(biāo)準(zhǔn)進(jìn)行有效范圍的定義，以明確每套標(biāo)準(zhǔn)的用途，比如原系統(tǒng)的標(biāo)準(zhǔn)作為地方標(biāo)準(zhǔn)，數(shù)倉的作為中央標(biāo)準(zhǔn)，EAST模型的標(biāo)準(zhǔn)作為對外標(biāo)準(zhǔn)。

• 建立標(biāo)準(zhǔn)之間的映射管理，做好數(shù)據(jù)拉通的依據(jù)解決。這樣設(shè)計標(biāo)準(zhǔn)的維護(hù)和變更就可以重點(diǎn)選擇哪里進(jìn)行新增，以及如何進(jìn)行統(tǒng)一等。

四、Datablau簡介

1.公司簡介

公司全稱：北京數(shù)語科技有限公司

注冊資本：2703.6萬元

注冊地： 北京海淀區(qū)海淀北二街８號10層

注冊時間：2016年11月24日

法定代表人：王琤

北京數(shù)語科技有限公司（以下簡稱“數(shù)語科技”）成立于2016年11月，是專注于數(shù)據(jù)治理領(lǐng)域的國內(nèi)自主知識產(chǎn)權(quán)的專業(yè)軟件產(chǎn)品提供商，主要業(yè)務(wù)是數(shù)據(jù)治理軟件產(chǎn)品的研發(fā)與銷售。數(shù)語科技的創(chuàng)始團(tuán)隊全部來自CA erwin，天然具有世界級水準(zhǔn)的軟件產(chǎn)品開發(fā)能力。創(chuàng)始人兼CEO王琤曾任職erwin全球研發(fā)總監(jiān)，擁有超過十年以上數(shù)據(jù)建模和數(shù)據(jù)管理的從業(yè)經(jīng)驗。CTO朱金寶曾任職erwin首席架構(gòu)師，先后服務(wù)多家全球知名企業(yè)，并曾全程參與中國建設(shè)銀行數(shù)據(jù)治理項目，目前全面負(fù)責(zé)Datablau軟件平臺的研發(fā)工作和關(guān)鍵項目的實施工作。

數(shù)語科技根據(jù)DAMA理論和中國國情獨(dú)立研發(fā)Datablau新一代數(shù)據(jù)治理平臺，平臺由Datablau DDM數(shù)據(jù)建模產(chǎn)品和Datablau DAM數(shù)據(jù)資產(chǎn)管理平臺兩大部分組成，全部擁有軟件著作權(quán)和知識產(chǎn)權(quán)，一站式全面滿足中國企業(yè)的數(shù)據(jù)治理需求。其中數(shù)據(jù)建模產(chǎn)品DDM是Datablau填補(bǔ)國內(nèi)空白的重量級產(chǎn)品，幫助中國客戶擺脫國外產(chǎn)品的壟斷現(xiàn)狀。

2018年，Datablau數(shù)據(jù)治理平臺通過了中國信息通信研究院嚴(yán)格苛刻的產(chǎn)品評測并獲得的“最佳大數(shù)據(jù)產(chǎn)品”獎。

2.Datablau Data Modeler簡介

DDM（Datablau Data Modeler）是國內(nèi)首創(chuàng)的專業(yè)建模工具，是數(shù)據(jù)治理體系的重要組成部分。數(shù)據(jù)模型是“所有系統(tǒng)、文檔和流程中包含的所有數(shù)據(jù)的語境。是生數(shù)據(jù)的知識?！睋Q句話說，如果沒有數(shù)據(jù)模型，組織IT系統(tǒng)中收集和存儲的所有數(shù)據(jù)都會失去意義，也就沒有業(yè)務(wù)價值。

3.聯(lián)系我們

產(chǎn)品網(wǎng)站： www.datablau.cn

E-mail：sale@datablau.com

聯(lián)系電話：136-5120-3330

地址：北京市朝陽區(qū)光華路SOHO3q

———— / END / ————

感謝閱讀本文章，歡迎留下評論及個人見解！