【原】您需要知道實(shí)施主數(shù)據(jù)管理的三大注意事項(xiàng)：管理治理數(shù)據(jù)質(zhì)量工具選擇

數(shù)據(jù)治理精英館 2021-12-24

展開全文

一概述

每個(gè)組織都必須處理主數(shù)據(jù)，并設(shè)法以有效和高效的方式管理這一特定數(shù)據(jù)集的質(zhì)量。組織在業(yè)務(wù)智能、重新配置ERP系統(tǒng)、優(yōu)化業(yè)務(wù)流程、創(chuàng)建客戶的單一視圖以及遵守外部規(guī)則和法規(guī)方面的需求非?；钴S。充分的主數(shù)據(jù)管理是實(shí)現(xiàn)這些目標(biāo)的重要先決條件。正是由于這個(gè)原因，主數(shù)據(jù)管理在許多大中型組織的議程中占據(jù)了非常重要的位置。下面描述了實(shí)現(xiàn)適當(dāng)?shù)闹鲾?shù)據(jù)管理時(shí)需要注意的幾個(gè)重要方面。許多組織認(rèn)為這些領(lǐng)域也相當(dāng)復(fù)雜:主數(shù)據(jù)管理的治理、主數(shù)據(jù)管理的基礎(chǔ)和主數(shù)據(jù)管理的自動化。

二管理主數(shù)據(jù)的管理:“治理”

主數(shù)據(jù)管理治理的目標(biāo)是控制并在必要時(shí)調(diào)整旨在確?？沙掷m(xù)主數(shù)據(jù)質(zhì)量的活動(計(jì)劃、執(zhí)行、檢查和改進(jìn))。清晰的角色、任務(wù)和職責(zé)結(jié)構(gòu)是主數(shù)據(jù)管理治理的重要組成部分，但不是惟一的要求。

注意事項(xiàng)

·不要造成太大的復(fù)雜性，也不要試圖先于組織的其他部分采用主數(shù)據(jù)管理治理:首先，盡可能多地和現(xiàn)有的組織結(jié)構(gòu)相結(jié)合。

·不要期望出現(xiàn)奇跡，花點(diǎn)時(shí)間讓主數(shù)據(jù)管理治理慢慢地被組織吸收:人們需要時(shí)間來理解他們的新角色、任務(wù)和職責(zé)，并獲得經(jīng)驗(yàn)。

·從自頂向下的角度處理主數(shù)據(jù)管理治理:明確定義和基本原則、指導(dǎo)方針和標(biāo)準(zhǔn)對于確保主數(shù)據(jù)和主數(shù)據(jù)管理質(zhì)量至關(guān)重要。

·不要將治理局限于只分配角色和職責(zé):還應(yīng)該確保適當(dāng)?shù)牟僮髂Ｊ胶蛯?shí)際的工作方式(例如組織“主數(shù)據(jù)管理社區(qū)”)。

·“數(shù)字說明一切”:為了正確管理，你必須知道你想去哪里，什么時(shí)候需要去那里。

1 不要立刻去買黃金

盡管這可能非常誘人，但在重新設(shè)計(jì)主數(shù)據(jù)管理組織時(shí)，不應(yīng)該采用“理想模型”。在許多組織中，仍然沒有清晰有效的過程所有者、系統(tǒng)所有者和數(shù)據(jù)所有者的組織架構(gòu)，主數(shù)據(jù)管理治理可以輕松地與這些結(jié)構(gòu)保持一致。與流程治理類似，主數(shù)據(jù)管理治理也超越了部門或職能領(lǐng)域(例如IT或采購)的傳統(tǒng)邊界。因此，為主數(shù)據(jù)管理治理實(shí)現(xiàn)這個(gè)理想模型沒有什么意義。通常情況下，人們一開始不得不堅(jiān)持回答一些簡單的問題，比如“誰做什么?””和“誰決策?”

現(xiàn)有的組織結(jié)構(gòu)可以用作在主數(shù)據(jù)管理模式中分配各種角色的起點(diǎn)。通過這種方式，新的角色逐漸被引入到熟悉的環(huán)境中，使得角色的分配和接受更加容易。“想大事,做小事”是一個(gè)經(jīng)常在主數(shù)據(jù)管理的口號。這表明主數(shù)據(jù)管理遠(yuǎn)景必須是組織范圍的、獨(dú)立于對象的、面向未來的。它還表明，這一設(shè)想的實(shí)施最好是在相對較小的規(guī)模上進(jìn)行，至少在最初階段是這樣。這也適用于主數(shù)據(jù)管理中的治理:與現(xiàn)有的良好組織架構(gòu)實(shí)踐保持一致，并在組織的其他部分也做好準(zhǔn)備時(shí)逐步向所需的管理模式發(fā)展。

明確關(guān)注溝通和變更管理是主數(shù)據(jù)管理成功的一個(gè)重要因素，絕對不能低估。作為主數(shù)據(jù)管理活動的一部分，將改變現(xiàn)有角色，并引入新的角色。在“將主數(shù)據(jù)視為資產(chǎn)”的愿景中，預(yù)期相關(guān)各方將真正對改進(jìn)和確保主數(shù)據(jù)的質(zhì)量負(fù)責(zé)，并因此采取相應(yīng)的行為。要做到這一點(diǎn)，需要做出很大的努力，清晰地傳達(dá)主數(shù)據(jù)管理的附加價(jià)值，并讓利益相關(guān)方做好準(zhǔn)備，了解主數(shù)據(jù)管理對他們?nèi)粘９ぷ鞣绞降挠绊憽?/section>

2 從理論到實(shí)踐

主數(shù)據(jù)管理中的重要核心概念是標(biāo)準(zhǔn)化、明確、清晰和一致性。自頂向下可以最有效地處理主數(shù)據(jù)管理治理。

顯然，必須考慮所有的本地特征和特定于系統(tǒng)的配置，但是明確、清晰和一致的愿景最能保證主數(shù)據(jù)管理的質(zhì)量。創(chuàng)建和表達(dá)這一愿景的最有效方法是從組織內(nèi)部一個(gè)可識別的中心位置出發(fā)，最好有來自高級管理層(董事會級別)的明確支持和溝通。這樣，主數(shù)據(jù)管理治理的建立在實(shí)踐中將是一個(gè)自頂向下的管理人員活動。

這里需要強(qiáng)調(diào)的是，主數(shù)據(jù)管理不一定需要集中主數(shù)據(jù)。在共享服務(wù)中心中合并主數(shù)據(jù)管理是一種持續(xù)的趨勢，主數(shù)據(jù)管理的效率、連續(xù)性和知識保留肯定得益于活動的集中化。但是，主數(shù)據(jù)管理并不是集中化的同義詞。根據(jù)業(yè)務(wù)操作的環(huán)境，必須將主數(shù)據(jù)維護(hù)與日常業(yè)務(wù)活動保持密切聯(lián)系。

僅僅分配角色、任務(wù)和責(zé)任是不夠的。應(yīng)該為相關(guān)人員制定一個(gè)組織結(jié)構(gòu)，在這個(gè)結(jié)構(gòu)中他們可以執(zhí)行他們的新任務(wù)和職責(zé)。

因此，主數(shù)據(jù)管理治理應(yīng)該建立溝通結(jié)構(gòu)，從結(jié)構(gòu)上將利益相關(guān)者相互聯(lián)系起來，討論當(dāng)前問題并分享見解。正式的主數(shù)據(jù)管理社區(qū)(一組來自不同部門和企業(yè)的相關(guān)人員)是經(jīng)過驗(yàn)證的解決方案，可以以簡單的方式促進(jìn)見解、經(jīng)驗(yàn)和解決方案的交流。

必須定義和記錄與主數(shù)據(jù)管理設(shè)計(jì)和實(shí)現(xiàn)有關(guān)的原則、指導(dǎo)方針、標(biāo)準(zhǔn)和實(shí)際方法，最好是在公共策略文檔中。

最后，還有所謂的“支持性”主數(shù)據(jù)管理治理過程，它關(guān)注組織內(nèi)主數(shù)據(jù)管理整體的持續(xù)運(yùn)行以及必要的改進(jìn)。在這種情況下，可以與眾所周知的ITIL過程進(jìn)行類比:

·變更管理(例如:我們在系統(tǒng)[Y]中向表[X]添加一個(gè)新的字段;誰將批準(zhǔn)，哪些系統(tǒng)、過程、程序和標(biāo)準(zhǔn)必須隨后調(diào)整?)

·事件管理(例如:涉及主數(shù)據(jù)或主數(shù)據(jù)管理質(zhì)量的事件和問題應(yīng)該是透明的，并且必須指定對這些問題的后續(xù)處理)

·服務(wù)水平管理(例如:建立和監(jiān)控與主數(shù)據(jù)維護(hù)相關(guān)的服務(wù)水平)

·遵從性管理(例如:確保主數(shù)據(jù)管理和主數(shù)據(jù)符合相關(guān)的內(nèi)部和外部規(guī)則和法規(guī))。

3 通過度量有效地管理主數(shù)據(jù)

有效的治理還意味著可以在需要的時(shí)候和地點(diǎn)重新校準(zhǔn)主數(shù)據(jù)管理的設(shè)計(jì)和執(zhí)行。這需要能夠報(bào)告主數(shù)據(jù)質(zhì)量和主數(shù)據(jù)管理質(zhì)量，對每個(gè)主數(shù)據(jù)對象和主數(shù)據(jù)管理使用預(yù)定義的性能指標(biāo)和質(zhì)量標(biāo)準(zhǔn)。

二主數(shù)據(jù)管理的基礎(chǔ)是:主數(shù)據(jù)定義和主數(shù)據(jù)質(zhì)量

主數(shù)據(jù)定義和主數(shù)據(jù)質(zhì)量是主數(shù)據(jù)管理核心的兩個(gè)重要主題:哪些主數(shù)據(jù)應(yīng)該屬于主數(shù)據(jù)管理體系，以及是什么實(shí)際決定了主數(shù)據(jù)的質(zhì)量?

注意事項(xiàng)

·以實(shí)用的方式定義和分類主數(shù)據(jù)，以獲得數(shù)據(jù)字典和數(shù)據(jù)模型。

·在包括業(yè)務(wù)(流程)專家、信息分析師和IT專家的多學(xué)科團(tuán)隊(duì)中開發(fā)主數(shù)據(jù)定義和數(shù)據(jù)質(zhì)量規(guī)則(“業(yè)務(wù)規(guī)則”)。

·注意對最關(guān)鍵的數(shù)據(jù)屬性(業(yè)務(wù)影響)的主數(shù)據(jù)質(zhì)量規(guī)則的定義，并確保定期檢查(迭代過程)。

·應(yīng)該明確維護(hù)主數(shù)據(jù)質(zhì)量規(guī)則的責(zé)任。例如，通過任命主要負(fù)責(zé)實(shí)現(xiàn)組織范圍的數(shù)據(jù)定義和質(zhì)量規(guī)則的主數(shù)據(jù)管理員。

·數(shù)字說明一切。使(不)符合質(zhì)量要求的情況透明化。

1 不存在通用主數(shù)據(jù)定義

沒有一個(gè)通用的主數(shù)據(jù)定義，甚至也沒有一個(gè)通用的標(biāo)準(zhǔn)主數(shù)據(jù)對象列表。每個(gè)人都同意“客戶”和“供應(yīng)商”屬于這一類，但對于某些數(shù)據(jù)對象(如契約或組織單元)，可能難以達(dá)成共識。通常，公司特定IT系統(tǒng)的定義和數(shù)據(jù)模型在這方面處于領(lǐng)先地位。然而，在主數(shù)據(jù)的特性上達(dá)成一致是可能的。在公司內(nèi)部定義主數(shù)據(jù)時(shí)，討論的重點(diǎn)應(yīng)該是這樣一個(gè)問題:“我們希望由主數(shù)據(jù)管理管理哪些數(shù)據(jù)對象?”這種務(wù)實(shí)的方法比持續(xù)關(guān)注關(guān)于主數(shù)據(jù)包羅萬象的定義的理論討論的成功的可能性大得多。

在建立相關(guān)主數(shù)據(jù)對象的系統(tǒng)獨(dú)立目錄之后，應(yīng)該分析數(shù)據(jù)對象在所有(IT)系統(tǒng)中的存在方式。在特定(IT)系統(tǒng)中配置主數(shù)據(jù)對象的方式會影響主數(shù)據(jù)維護(hù)流程的設(shè)計(jì)。例如，在應(yīng)用程序的配置模塊中維護(hù)的主數(shù)據(jù)對象(通常在IT部門中維護(hù))將使用與最終用戶通過應(yīng)用程序的常規(guī)功能菜單維護(hù)的對象不同的維護(hù)過程。

通過上述步驟，可以清楚地了解主數(shù)據(jù)對象，包括它們的特征、分類、定義和對象之間的關(guān)系。目的是建立一個(gè)共同的理解，也確保統(tǒng)一的使用和應(yīng)用。這將形成“(主)數(shù)據(jù)字典”和數(shù)據(jù)模型。

2 質(zhì)量是一個(gè)模糊的概念

在日常使用中，質(zhì)量是一個(gè)很明顯的概念。然而，質(zhì)量有時(shí)是模糊的定義。在本文中，我們使用以下定義:對象的一組屬性和特性，這些屬性和特性對于遵守定義的規(guī)范和要求非常重要。

主數(shù)據(jù)的質(zhì)量取決于主數(shù)據(jù)遵從已定義的質(zhì)量規(guī)則的程度(這些規(guī)則來自于當(dāng)前的業(yè)務(wù)需求)。這些質(zhì)量規(guī)則以兩種形式存在，“技術(shù)規(guī)則”和“業(yè)務(wù)規(guī)則”。

·技術(shù)規(guī)則是直接與主數(shù)據(jù)對象及其屬性(強(qiáng)制/可選屬性、屬性長度、格式約定等)相關(guān)的規(guī)則。

·業(yè)務(wù)規(guī)則是直接產(chǎn)生于業(yè)務(wù)流程和場景的規(guī)則(例如，在創(chuàng)建客戶時(shí)，選擇的“稅收分類”)。這些規(guī)則經(jīng)常支配主數(shù)據(jù)屬性和主數(shù)據(jù)對象。

充分定義質(zhì)量規(guī)則并確保對這些規(guī)則的遵從將確保業(yè)務(wù)需求得到滿足。

3 有形的數(shù)據(jù)質(zhì)量管理

對于許多組織來說，質(zhì)量規(guī)則的定義不是簡單的、協(xié)調(diào)的活動。技術(shù)規(guī)則通常只記錄在技術(shù)系統(tǒng)文檔中，而數(shù)據(jù)標(biāo)準(zhǔn)和業(yè)務(wù)規(guī)則通常只存在于人們的頭腦中，沒有明確地描述、評估和驗(yàn)證。此外，還有一些外部標(biāo)準(zhǔn)和質(zhì)量要求是主數(shù)據(jù)必須遵守的(例如FDA/GMP、ISO)。在確定質(zhì)量規(guī)則時(shí)，必須了解業(yè)務(wù)流程、業(yè)務(wù)需求和主數(shù)據(jù)使用的本質(zhì)。組織傾向于將業(yè)務(wù)需求轉(zhuǎn)換為掌握數(shù)據(jù)規(guī)則視為一件復(fù)雜的事情。這可能是由于各種原因:

·主數(shù)據(jù)不清楚。主數(shù)據(jù)本身的定義不存在、不清晰和/或不一致。

·業(yè)務(wù)需求不明確。業(yè)務(wù)流程和相應(yīng)的需求是不清晰的，不被理解的，或者是非常異構(gòu)的。

·規(guī)則結(jié)構(gòu)不明確。人們很難將業(yè)務(wù)需求鏈接到主數(shù)據(jù)，并從中提取結(jié)果規(guī)則。

·系統(tǒng)的架構(gòu)復(fù)雜。復(fù)雜的系統(tǒng)環(huán)境(例如，存在許多翻譯表以使應(yīng)用程序之間的數(shù)據(jù)模型能夠連接起來)使定義統(tǒng)一和一致的規(guī)則變得更加困難。

為了確保質(zhì)量規(guī)則的正確定義，一方面建立主數(shù)據(jù)所有權(quán)，另一方面收集來自不同學(xué)科的相關(guān)知識持有者的需求，這是非常重要的。這也是一個(gè)迭代的過程，在這個(gè)過程中，規(guī)則可以不斷地被完善。在定義質(zhì)量規(guī)則之后，可以得出這樣的結(jié)論:規(guī)則可能不夠具體，或者忽略了特定的業(yè)務(wù)場景。所有權(quán)的建立對于促進(jìn)必要的決策非常重要。

4 數(shù)字說明了一切

質(zhì)量規(guī)則的遵從應(yīng)確保業(yè)務(wù)需求得到滿足。通常，組織會采取某種形式的措施來確保遵守這些法規(guī)，例如應(yīng)用程序中的強(qiáng)制性領(lǐng)域，或工作說明中嵌入的質(zhì)量規(guī)則。這些規(guī)定往往是支離破碎的，而且隨著時(shí)間的推移變得更加豐富。應(yīng)該有預(yù)防措施，包括政策、工作指令、工作流、應(yīng)用控制、SLA等；檢測措施，包括缺陷報(bào)告、監(jiān)視、KPI、儀表板；糾正措施，包括糾正程序的整體組合。

監(jiān)視是確保主數(shù)據(jù)質(zhì)量的最重要的措施之一。預(yù)定義的關(guān)鍵績效指標(biāo)和相應(yīng)的質(zhì)量水平(每個(gè)KPI的目標(biāo)是什么?)是控制主數(shù)據(jù)質(zhì)量的手段。然而，定義這些KPI和質(zhì)量度量是一個(gè)不斷細(xì)化的過程，以便最終實(shí)現(xiàn)最優(yōu)的質(zhì)量規(guī)則集。

三主數(shù)據(jù)管理的工具:自動化

有特定的主數(shù)據(jù)管理工具可以有效地保證主數(shù)據(jù)的質(zhì)量?，F(xiàn)在，主數(shù)據(jù)管理工具的功能面向主數(shù)據(jù)管理中的各種組件，但它們的出發(fā)點(diǎn)通常是關(guān)注數(shù)據(jù)質(zhì)量和數(shù)據(jù)集成。

下圖中提到的主數(shù)據(jù)管理工具功能可以分為三個(gè)不同的主數(shù)據(jù)管理工具類別，即:

·數(shù)據(jù)質(zhì)量工具:該工具專門用于管理和監(jiān)控?cái)?shù)據(jù)質(zhì)量。

·數(shù)據(jù)集成工具:提取、轉(zhuǎn)換和加載(ETL)是該工具的關(guān)鍵元素。

·數(shù)據(jù)治理工具:對所有權(quán)和主數(shù)據(jù)維護(hù)過程的控制是該工具的核心功能。

注意事項(xiàng)

·在購買工具之前，確保主數(shù)據(jù)治理、過程和質(zhì)量中的原則和要求是明確的。僅使用工具并不能解決主數(shù)據(jù)問題。

·仔細(xì)檢查組織已經(jīng)使用的工具，或者哪些未使用的功能可能被投入使用。

·確保主數(shù)據(jù)管理工具的業(yè)務(wù)用例和需求清晰且得到廣泛支持。

·不要尋找涵蓋所有主數(shù)據(jù)管理功能的工具，而是首先選擇能帶來最大好處的功能。根據(jù)主數(shù)據(jù)對象/域的不同，這可能有所不同。

·確保主數(shù)據(jù)管理工具符合組織當(dāng)前的IT體系結(jié)構(gòu)原則。

·一定要應(yīng)用主數(shù)據(jù)管理工具，因?yàn)檫@為組織提供了衡量主數(shù)據(jù)管理質(zhì)量的真正機(jī)會。

1 三思而后行

企業(yè)對主數(shù)據(jù)管理工具越來越感興趣。主數(shù)據(jù)管理工具被用作有效的主數(shù)據(jù)管理解決方案，有時(shí)被誤用。首先，定義主數(shù)據(jù)管理工具的需求、特定需求和范圍是很重要的，因?yàn)檫@不是解決方案，而是實(shí)現(xiàn)解決方案的方法。在許多組織內(nèi)，可能存在下列問題:

·工具不滿足實(shí)際需求，因此很少使用。

·在沒有定義和實(shí)現(xiàn)許多先決條件的情況下應(yīng)用工具，比如數(shù)據(jù)質(zhì)量監(jiān)控的清晰主數(shù)據(jù)定義和質(zhì)量標(biāo)準(zhǔn)，以及充分定義的工作流維護(hù)過程。

由于這些原因，組織在做出與獲取和實(shí)現(xiàn)主數(shù)據(jù)管理工具相關(guān)的決定之前，最好至少清楚以下主題:

·在獲取主數(shù)據(jù)管理工具之前，應(yīng)該創(chuàng)建業(yè)務(wù)用例。是否真的有必要購買主數(shù)據(jù)管理工具?有真正的業(yè)務(wù)需求嗎?對于主數(shù)據(jù)管理過程的良好設(shè)計(jì)、系統(tǒng)中的訪問權(quán)限和工作指令的使用。

·主數(shù)據(jù)管理工具需要哪些功能?重要的是要知道工具是在后端(監(jiān)控?cái)?shù)據(jù)質(zhì)量、數(shù)據(jù)集成)還是在前端(工作流、維護(hù)過程)。

·組織可能已經(jīng)在使用關(guān)于主數(shù)據(jù)管理工具的“最佳實(shí)踐”。因此，這類實(shí)踐的清單是合適的，因?yàn)橹鲾?shù)據(jù)管理工具很可能已經(jīng)在其他業(yè)務(wù)單元中用于類似的目的。

2適合的主數(shù)據(jù)工具

IT工具的選擇要與組織的IT體系結(jié)構(gòu)相適應(yīng)，這一點(diǎn)很重要。主數(shù)據(jù)管理工具必須符合當(dāng)前現(xiàn)有的IT體系結(jié)構(gòu)原則，這應(yīng)該考慮到實(shí)現(xiàn)特定的數(shù)據(jù)集成工具的復(fù)雜性。

在通用IT體系結(jié)構(gòu)中，部署主數(shù)據(jù)管理工具來完全或部分支持以下體系結(jié)構(gòu)類型之一(或它們的組合)。確定哪種主數(shù)據(jù)管理體系結(jié)構(gòu)最適合組織的主數(shù)據(jù)管理目標(biāo)，以及哪種現(xiàn)有技術(shù)能夠?qū)崿F(xiàn)主數(shù)據(jù)管理體系結(jié)構(gòu)的特性，這一點(diǎn)非常重要。主數(shù)據(jù)管理工具可以分為三種類型:

·整合。在一個(gè)集中的主數(shù)據(jù)數(shù)據(jù)庫中，跨異構(gòu)環(huán)境識別和合并類似或相同的對象，并提供相關(guān)的關(guān)鍵映射信息，供業(yè)務(wù)用于報(bào)告目的。

·協(xié)調(diào)。合并后的主數(shù)據(jù)也被分發(fā)到目標(biāo)系統(tǒng)。在整個(gè)IT領(lǐng)域中，相關(guān)屬性是同步的。

·集中。只有一個(gè)地方可以輸入數(shù)據(jù)，數(shù)據(jù)會自動分發(fā)到目標(biāo)系統(tǒng)。在目標(biāo)系統(tǒng)中，可以使用本地屬性豐富數(shù)據(jù)。

四小結(jié)

本文描述了組織在實(shí)施主數(shù)據(jù)管理時(shí)遇到的三個(gè)復(fù)雜問題?？偨Y(jié)了三個(gè)重要結(jié)論:

數(shù)字說明了一切?！?strong>客觀地了解主數(shù)據(jù)和主數(shù)據(jù)管理的質(zhì)量對于管理、改進(jìn)和確定業(yè)務(wù)需求是否得到滿足至關(guān)重要。如果使用得當(dāng)，它可以作為主數(shù)據(jù)管理背后的引擎。

主數(shù)據(jù)領(lǐng)域是一個(gè)多學(xué)科領(lǐng)域(業(yè)務(wù)和IT)，這意味著必須建立治理(例如所有權(quán))，還必須鼓勵(lì)來自業(yè)務(wù)和IT領(lǐng)域的專家進(jìn)行協(xié)作，以確保主數(shù)據(jù)的質(zhì)量。

為了實(shí)現(xiàn)有效的主數(shù)據(jù)管理，應(yīng)該共同關(guān)注主數(shù)據(jù)管理的核心(治理、過程、內(nèi)容和質(zhì)量、系統(tǒng)和工具)。在進(jìn)入實(shí)現(xiàn)階段之前，考慮需要采取的步驟、一致性、優(yōu)先級和順序(“路線圖”)是很重要的。