數(shù)據(jù)是企業(yè)最具價(jià)值的資產(chǎn)之一，而數(shù)據(jù)質(zhì)量則直接影響數(shù)據(jù)的產(chǎn)出和數(shù)據(jù)價(jià)值的高低。因此，數(shù)據(jù)質(zhì)量的管理對于企業(yè)決策、戰(zhàn)略水平和業(yè)績提升至關(guān)重要。今天我們就來聊一聊企業(yè)如何評(píng)估和提升數(shù)據(jù)質(zhì)量。

一、數(shù)據(jù)質(zhì)量是什么

國際數(shù)據(jù)管理協(xié)會(huì)的《數(shù)據(jù)管理知識(shí)手冊》中規(guī)定：數(shù)據(jù)質(zhì)量（DQ）是“既指與數(shù)據(jù)有關(guān)的特征，也指用于衡量或改進(jìn)數(shù)據(jù)質(zhì)量的過程?！?/p>

具體可以從以下幾個(gè)方面來定義數(shù)據(jù)質(zhì)量：

● 從用戶層級(jí)定義數(shù)據(jù)質(zhì)量：即滿足特定用戶預(yù)期需要的程度

● 從數(shù)據(jù)本身定義數(shù)據(jù)質(zhì)量：即從數(shù)據(jù)質(zhì)量的指示器和參數(shù)指標(biāo)等方面來衡量

● 從數(shù)據(jù)約束關(guān)系定義數(shù)據(jù)質(zhì)量：即從數(shù)據(jù)的原子性、數(shù)據(jù)的關(guān)聯(lián)性及對數(shù)據(jù)的約束規(guī)則來度量數(shù)據(jù)質(zhì)量

● 從數(shù)據(jù)過程定義數(shù)據(jù)質(zhì)量：即從數(shù)據(jù)能被正確使用、存儲(chǔ)、傳輸?shù)确矫娑x質(zhì)量

二、數(shù)據(jù)質(zhì)量問題有哪些危害

當(dāng)前越來越多的企業(yè)認(rèn)識(shí)到了數(shù)據(jù)的重要性，但數(shù)據(jù)是一把雙刃劍，它能給企業(yè)帶來業(yè)務(wù)價(jià)值的同時(shí)也是企業(yè)最大的風(fēng)險(xiǎn)來源。據(jù)IBM統(tǒng)計(jì)：

● 錯(cuò)誤或不完整數(shù)據(jù)導(dǎo)致BI和CRM系統(tǒng)不能正常發(fā)揮優(yōu)勢甚至失效

● 數(shù)據(jù)分析員每天有30%的時(shí)間浪費(fèi)在了辨別數(shù)據(jù)是否是“壞數(shù)據(jù)”上

● 低劣的數(shù)據(jù)質(zhì)量嚴(yán)重降低了全球企業(yè)的年收入

由此可見，低質(zhì)量的數(shù)據(jù)將直接導(dǎo)致分析結(jié)果的不準(zhǔn)確，從而為業(yè)務(wù)發(fā)展和企業(yè)決策帶來嚴(yán)重影響。

三、影響數(shù)據(jù)質(zhì)量的因素

數(shù)據(jù)質(zhì)量問題產(chǎn)生的原因有很多方面，比如在技術(shù)、管理、流程方面都會(huì)碰到。一般情況下，企業(yè)都有多套的業(yè)務(wù)系統(tǒng)，這些業(yè)務(wù)在不同時(shí)期由不同的團(tuán)隊(duì)開發(fā)完成。因此，這些業(yè)務(wù)系統(tǒng)都參考著不同的標(biāo)準(zhǔn)生產(chǎn)各自數(shù)據(jù)。濫用縮寫詞、慣用語，數(shù)據(jù)輸入錯(cuò)誤，重復(fù)記錄，丟失值，拼寫變化，不同計(jì)量單位的使用等導(dǎo)致系統(tǒng)產(chǎn)生了大量的臟數(shù)據(jù)。這就是數(shù)據(jù)質(zhì)量問題的由來。

影響數(shù)據(jù)質(zhì)量的主要因素有：

1、管理因素

是指由于人員素質(zhì)及管理機(jī)制方面的原因造成的數(shù)據(jù)質(zhì)量問題。表現(xiàn)為：數(shù)據(jù)來源渠道多，責(zé)任不明確；業(yè)務(wù)需求不清晰，數(shù)據(jù)填報(bào)缺失；數(shù)據(jù)指標(biāo)不統(tǒng)一等。

2、技術(shù)因素

主要是指由于具體數(shù)據(jù)處理的各技術(shù)環(huán)節(jié)異常造成的數(shù)據(jù)質(zhì)量問題。數(shù)據(jù)質(zhì)量問題的產(chǎn)生主要來源于數(shù)據(jù)創(chuàng)建、數(shù)據(jù)獲取、數(shù)據(jù)傳輸、數(shù)據(jù)裝載、數(shù)據(jù)使用、數(shù)據(jù)維護(hù)等環(huán)節(jié)。

3、流程因素

是指由于系統(tǒng)作業(yè)流程和人工操作流程設(shè)置不當(dāng)而造成的數(shù)據(jù)質(zhì)量問題。其實(shí)，流程因素也屬于企業(yè)管理范疇。

很多企業(yè)認(rèn)識(shí)不到數(shù)據(jù)質(zhì)量問題的根本原因，只從技術(shù)單方面來解決數(shù)據(jù)問題，沒有形成管理機(jī)制，導(dǎo)致效果大打折扣。所以，要改進(jìn)數(shù)據(jù)質(zhì)量問題，要從企業(yè)管理和技術(shù)兩方面入手，才能從根本上，最佳地解決數(shù)據(jù)質(zhì)量問題。

四、數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)

數(shù)據(jù)質(zhì)量通常具有以下維度：

1、完整性

完整性指的是數(shù)據(jù)信息是否存在缺失，數(shù)據(jù)缺失可能是整個(gè)數(shù)據(jù)記錄缺失，也可能是數(shù)據(jù)中某個(gè)字段信息的記錄缺失。不完整的數(shù)據(jù)所能借鑒的價(jià)值就會(huì)大大降低，也是數(shù)據(jù)質(zhì)量更為基礎(chǔ)的一項(xiàng)評(píng)估標(biāo)準(zhǔn)。

數(shù)據(jù)質(zhì)量的完整性比較容易去評(píng)估，一般我們可以通過數(shù)據(jù)統(tǒng)計(jì)中的記錄值和值進(jìn)行評(píng)估。例如，網(wǎng)站日志日訪問量就是一個(gè)記錄值，平時(shí)的日訪問量在 1000 左右，突然某一天降到100了，需要檢查一下數(shù)據(jù)是否存在缺失了。再例如，網(wǎng)站統(tǒng)計(jì)地域分布情況的每一個(gè)地區(qū)名就是一個(gè)值，我國包括了32個(gè)省和直轄 市，如果統(tǒng)計(jì)得到的值小于32，則可以判斷數(shù)據(jù)有可能存在缺失。

2、一致性

一致性是指數(shù)據(jù)是否遵循了統(tǒng)一的規(guī)范，數(shù)據(jù)集合是否保持了統(tǒng)一的格式。

數(shù)據(jù)質(zhì)量的一致性主要體現(xiàn)在數(shù)據(jù)記錄的規(guī)范和數(shù)據(jù)是否符合邏輯。規(guī)范指的是，一項(xiàng)數(shù)據(jù)存在特定的格式，例如手機(jī)號(hào)碼一定是13位的數(shù)字，IP地址一定 是由 4個(gè)0到255間的數(shù)字加上”.”組成的。邏輯指的是，多項(xiàng)數(shù)據(jù)間存在著固定的邏輯關(guān)系，例如PV一定是大于等于UV的，跳出率一定是在0到1之間的。

一般的數(shù)據(jù)都有著標(biāo)準(zhǔn)的編碼規(guī)則，對于數(shù)據(jù)記錄的一致性檢驗(yàn)是較為簡單的，只要符合標(biāo)準(zhǔn)編碼規(guī)則即可，例如地區(qū)類的標(biāo)準(zhǔn)編碼格式為“北京”而不是“北京市”，我們只需將相應(yīng)的值映射到標(biāo)準(zhǔn)的值上就可以了。

3、準(zhǔn)確性

準(zhǔn)確性是指數(shù)據(jù)記錄的信息是否存在異?；蝈e(cuò)誤。和一致性不一樣，存在準(zhǔn)確性問題的數(shù)據(jù)不僅僅只是規(guī)則上的不一致。更為常見的數(shù)據(jù)準(zhǔn)確性錯(cuò)誤就如亂碼。其次，異常的大或者小的數(shù)據(jù)也是不符合條件的數(shù)據(jù)。

數(shù)據(jù)質(zhì)量的準(zhǔn)確性可能存在于個(gè)別記錄，也可能存在于整個(gè)數(shù)據(jù)集，例如數(shù)量級(jí)記錄錯(cuò)誤。這類錯(cuò)誤則可以使用較大值和最小值的統(tǒng)計(jì)量去審核。

一般數(shù)據(jù)都符合正態(tài)分布的規(guī)律，如果一些占比少的數(shù)據(jù)存在問題，則可以通過比較其他數(shù)量少的數(shù)據(jù)比例，來做出判斷。

當(dāng)然如果統(tǒng)計(jì)的數(shù)據(jù)異常并不顯著，但依然存在著錯(cuò)誤，這類值的檢查是更為困難的，需要通過復(fù)雜的統(tǒng)計(jì)分析對比找到蛛絲馬跡，這里可以借助一些數(shù)據(jù)分析工具，那么具體的數(shù)據(jù)修正方法就不在這里介紹了。

4、及時(shí)性

及時(shí)性是指數(shù)據(jù)從產(chǎn)生到可以查看的時(shí)間間隔，也叫數(shù)據(jù)的延時(shí)時(shí)長。及時(shí)性對于數(shù)據(jù)分析本身要求并不高，但如果數(shù)據(jù)分析周期加上數(shù)據(jù)建立的時(shí)間過長，就可能導(dǎo)致分析得出的結(jié)論失去了借鑒意義。

五、數(shù)據(jù)質(zhì)量評(píng)估

評(píng)估步驟如下：

● 確定需要做數(shù)據(jù)質(zhì)量監(jiān)控的數(shù)據(jù)指標(biāo)項(xiàng)，通常會(huì)對數(shù)據(jù)運(yùn)營和相關(guān)管理報(bào)告至關(guān)重要的數(shù)據(jù)項(xiàng)。

● 評(píng)估需要使用的數(shù)據(jù)質(zhì)量維度及其權(quán)重值。

● 對于每個(gè)數(shù)據(jù)質(zhì)量維度，定義表示標(biāo)準(zhǔn)質(zhì)量和質(zhì)量差數(shù)據(jù)的值和范圍。特別需要注意的是：同一個(gè)指標(biāo)名稱，可能會(huì)有不同的度量規(guī)則，因此需要執(zhí)行許多不同的數(shù)據(jù)質(zhì)量評(píng)估。

● 反復(fù)查看并確認(rèn)數(shù)據(jù)質(zhì)量是否可以被接受。

● 在適當(dāng)數(shù)據(jù)流轉(zhuǎn)中采取糾正措施，例如：清理數(shù)據(jù)并改進(jìn)數(shù)據(jù)處理流程，以防止問題再次發(fā)生。

● 定期重復(fù)上述步驟，以監(jiān)控?cái)?shù)據(jù)質(zhì)量趨勢。

六、提高數(shù)據(jù)質(zhì)量的方法

1、明確業(yè)務(wù)需求并從需求開始控制數(shù)據(jù)質(zhì)量

要想真正解決數(shù)據(jù)質(zhì)量問題，應(yīng)該從需求開始，企業(yè)往往在定義清楚業(yè)務(wù)需求后忽略對數(shù)據(jù)質(zhì)量的控制，而只對已經(jīng)產(chǎn)生的數(shù)據(jù)做檢查，然后再將錯(cuò)誤數(shù)據(jù)剔除，這種方法治標(biāo)不治本，不能從根本上解決問題。

企業(yè)需要將數(shù)據(jù)質(zhì)量的控制從需求開始集成到分析人員、模型設(shè)計(jì)人員與開發(fā)人員的工作環(huán)境中，讓大家在日常的工作環(huán)境中自動(dòng)控制數(shù)據(jù)質(zhì)量，在數(shù)據(jù)的全生命周期中控制數(shù)據(jù)質(zhì)量。

2、建立數(shù)據(jù)質(zhì)量管理機(jī)制

從業(yè)務(wù)出發(fā)做問題定義，由工具自動(dòng)、及時(shí)發(fā)現(xiàn)問題，明確問題責(zé)任人，通過郵件、短信等方式進(jìn)行通知，保證問題及時(shí)通知到責(zé)任人。跟蹤問題整改進(jìn)度，保證數(shù)據(jù)質(zhì)量問題全過程的管理。

（1）探查數(shù)據(jù)內(nèi)容、結(jié)構(gòu)和異常

通過探查，可以識(shí)別數(shù)據(jù)的優(yōu)勢和弱勢，幫助企業(yè)確定業(yè)務(wù)實(shí)施計(jì)劃。一個(gè)關(guān)鍵目標(biāo)就是明確指出數(shù)據(jù)錯(cuò)誤和問題，例如將會(huì)給業(yè)務(wù)流程帶來威脅的不一致和冗余。

（2）建立數(shù)據(jù)質(zhì)量度量并明確目標(biāo)

企業(yè)需建立一個(gè)共同的平臺(tái)并完善度量標(biāo)準(zhǔn)，用戶可以在數(shù)據(jù)質(zhì)量記分卡中跟蹤度量標(biāo)準(zhǔn)的達(dá)標(biāo)情況，并通過電子郵件發(fā)送URL來與相關(guān)人員隨時(shí)進(jìn)行共享。

（3）設(shè)計(jì)和實(shí)施數(shù)據(jù)質(zhì)量業(yè)務(wù)規(guī)則

明確企業(yè)的數(shù)據(jù)質(zhì)量規(guī)則，即可重復(fù)使用的業(yè)務(wù)邏輯，管理如何清洗數(shù)據(jù)和解析用于支持目標(biāo)應(yīng)用字段和數(shù)據(jù)。業(yè)務(wù)部門和IT部門通過使用基于角色的功能，一同設(shè)計(jì)、測試、完善和實(shí)施數(shù)據(jù)質(zhì)量業(yè)務(wù)規(guī)則，以達(dá)成最好的結(jié)果。

（4）將數(shù)據(jù)質(zhì)量規(guī)則構(gòu)建到數(shù)據(jù)集成過程中

數(shù)據(jù)質(zhì)量服務(wù)由可集中管理、獨(dú)立于應(yīng)用程序并可重復(fù)使用的業(yè)務(wù)規(guī)則構(gòu)成，可用來執(zhí)行探查、清洗、標(biāo)準(zhǔn)化、名稱與地址匹配以及監(jiān)測。

在企業(yè)大數(shù)據(jù)治理過程中，對于大數(shù)據(jù)生產(chǎn)線中的每個(gè)集成點(diǎn)，都需要做數(shù)據(jù)質(zhì)量的檢查，嚴(yán)格控制輸入數(shù)據(jù)的質(zhì)量。比如在數(shù)據(jù)采集過程，集成過程，分析過程等等都需要做檢查。

但在大數(shù)據(jù)環(huán)境中，每個(gè)集成點(diǎn)都會(huì)有海量數(shù)據(jù)量流過，把數(shù)據(jù)逐條檢查這種傳統(tǒng)方式是行不通的，應(yīng)該采用抽樣的方式，對一批數(shù)據(jù)做數(shù)據(jù)質(zhì)量的檢查，來確定這批數(shù)據(jù)是否滿足一定的質(zhì)量區(qū)間，再?zèng)Q定是否需要對這批數(shù)據(jù)做詳細(xì)的檢查。

（5）檢查異常并完善規(guī)則

在執(zhí)行數(shù)據(jù)質(zhì)量流程后，大多數(shù)記錄將會(huì)被清洗和標(biāo)準(zhǔn)化，并達(dá)到企業(yè)所設(shè)定的數(shù)據(jù)質(zhì)量目標(biāo)。然而，無可避免，仍會(huì)存在一些沒有被清洗的劣質(zhì)數(shù)據(jù)，此時(shí)則需要完善控制數(shù)據(jù)質(zhì)量的業(yè)務(wù)規(guī)則。

目前企業(yè)內(nèi)的數(shù)據(jù)主要分為外部數(shù)據(jù)和內(nèi)部數(shù)據(jù)，大數(shù)據(jù)時(shí)代到來讓各企業(yè)廣泛采購第三方數(shù)據(jù)，第三方數(shù)據(jù)的質(zhì)量逐漸成為決定企業(yè)數(shù)據(jù)質(zhì)量的關(guān)鍵因素。

對于企業(yè)的內(nèi)部數(shù)據(jù)，可以通過業(yè)務(wù)梳理直接獲得質(zhì)量檢核規(guī)則。但是對于外部第三方數(shù)據(jù)，需要先對這些數(shù)據(jù)進(jìn)行采樣，并應(yīng)用關(guān)聯(lián)算法自動(dòng)發(fā)現(xiàn)其中的質(zhì)量檢核規(guī)則，并將這些檢核規(guī)則持續(xù)積累，形成外部數(shù)據(jù)的檢核規(guī)則庫。

（6）對照目標(biāo)，監(jiān)測數(shù)據(jù)質(zhì)量

數(shù)據(jù)質(zhì)量控制不應(yīng)為一次性的“邊設(shè)邊忘”活動(dòng)。相對目標(biāo)和在整個(gè)業(yè)務(wù)應(yīng)用中持續(xù)監(jiān)測和管理數(shù)據(jù)質(zhì)量對于保持和改進(jìn)高水平的數(shù)據(jù)質(zhì)量性能而言是至關(guān)重要的?？蛇x擇儀表板和報(bào)告進(jìn)行監(jiān)測。

3、對不同數(shù)據(jù)的數(shù)據(jù)問題分類處理

在時(shí)間維度上分，企業(yè)數(shù)據(jù)主要有三類：未來數(shù)據(jù)、當(dāng)前數(shù)據(jù)、歷史數(shù)據(jù)。在解決不同種類的數(shù)據(jù)質(zhì)量問題時(shí)，也要采取不同的處理方式。

（1）歷史數(shù)據(jù)

如果你拿著歷史數(shù)據(jù)，找業(yè)務(wù)部門給你做整改，業(yè)務(wù)部門通常以“當(dāng)前的數(shù)據(jù)問題都處理不過來，哪有時(shí)間幫你一起追查歷史數(shù)據(jù)的問題”為理由無情拒絕。這個(gè)時(shí)候即便是找領(lǐng)導(dǎo)協(xié)調(diào)，一般也起不到太大的作用。對于歷史數(shù)據(jù)問題的處理，一般可以發(fā)揮IT技術(shù)人員的優(yōu)勢，用數(shù)據(jù)清洗的辦法來解決，清洗的過程要綜合使用各類數(shù)據(jù)源，提升歷史數(shù)據(jù)的質(zhì)量。

（2）當(dāng)前數(shù)據(jù)

當(dāng)前數(shù)據(jù)的問題，需要通過從問題定義、問題發(fā)現(xiàn)、問題整改、問題跟蹤、效果評(píng)估5個(gè)方面來解決。

（3）未來數(shù)據(jù)

未來數(shù)據(jù)的處理，一般要采用做數(shù)據(jù)規(guī)劃的方法來解決，從整個(gè)企業(yè)信息化的角度出發(fā)，規(guī)劃統(tǒng)一企業(yè)數(shù)據(jù)架構(gòu)，制定企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)模型。借業(yè)務(wù)系統(tǒng)改造或者重建的時(shí)機(jī)，來從根本上提高數(shù)據(jù)質(zhì)量。當(dāng)然這種機(jī)會(huì)是可遇而不可求的，在機(jī)會(huì)到來之前應(yīng)該把企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)模型建立起來，一旦機(jī)會(huì)出現(xiàn)，就可以遵循這些標(biāo)準(zhǔn)。

通過對不同時(shí)期數(shù)據(jù)的分類處理，做到事前預(yù)防、事中監(jiān)控、事后改善，有助于從根源上解決數(shù)據(jù)質(zhì)量問題，為企業(yè)的發(fā)展帶來突破和創(chuàng)新。

隨著互聯(lián)網(wǎng)時(shí)代的來臨，企業(yè)面對的數(shù)據(jù)已經(jīng)遠(yuǎn)遠(yuǎn)不是簡單的業(yè)務(wù)數(shù)據(jù)，而是來自網(wǎng)絡(luò)和各種設(shè)備的大量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。企業(yè)需要嚴(yán)格控制數(shù)據(jù)質(zhì)量才能最終實(shí)現(xiàn)數(shù)據(jù)的價(jià)值以及業(yè)務(wù)的發(fā)展。

-數(shù)據(jù)分析展示就用DataHunter-