|
這是一個系列文章,沉淀了我在數(shù)據(jù)治理領(lǐng)域的一些實(shí)踐和思考。共分為5篇: · 數(shù)據(jù)治理:那些年,我們一起踩過的坑 主要講講數(shù)據(jù)治理工作中常見的一些誤區(qū)。 · 要打仗你手里先得有張地圖:元數(shù)據(jù)管理 這一篇講講元數(shù)據(jù)的概念和具體應(yīng)用場景。 · 不忘初心方得始終:數(shù)據(jù)質(zhì)量管理 本篇講述如何科學(xué)地進(jìn)行數(shù)據(jù)質(zhì)量管理。 · 書同文車同軌:數(shù)據(jù)標(biāo)準(zhǔn)管理 數(shù)據(jù)標(biāo)準(zhǔn)的落地始終是難題。本篇希望能提供一些數(shù)據(jù)標(biāo)準(zhǔn)建設(shè)的思路。 · 大數(shù)據(jù)的淘金之旅:數(shù)據(jù)資產(chǎn)管理 怎么管理和應(yīng)用好這些數(shù)據(jù)資產(chǎn),是現(xiàn)今數(shù)據(jù)治理的重要研究課題。 大數(shù)據(jù)時代,數(shù)據(jù)成為社會和組織的寶貴資產(chǎn),像工業(yè)時代的石油和電力一樣驅(qū)動萬物,然而如果石油的雜質(zhì)太多,電流的電壓不穩(wěn),數(shù)據(jù)的價值豈不是大打折扣,甚至根本不可用不敢用,因此,數(shù)據(jù)治理是大數(shù)據(jù)時代我們用好海量數(shù)據(jù)的必然選擇。 但大家都知道,數(shù)據(jù)治理是一項(xiàng)長期而繁雜的工作,可以說是大數(shù)據(jù)領(lǐng)域中的臟活累活,很多時候數(shù)據(jù)治理廠商做了很多工作,客戶卻認(rèn)為沒有看到什么成果。大部分?jǐn)?shù)據(jù)治理咨詢項(xiàng)目都能交上一份讓客戶足夠滿意的答卷,但是當(dāng)把咨詢成果落地到實(shí)處的時候,因?yàn)榉N種原因,很可能是另一番截然不同的風(fēng)景。如何避免這種情況發(fā)生,是每一個做數(shù)據(jù)治理的企業(yè)都值得深思的問題。 筆者涉獵大數(shù)據(jù)治理領(lǐng)域有6年多的時間,負(fù)責(zé)過政府、軍工、航空、大中型制造企業(yè)的數(shù)據(jù)治理項(xiàng)目。在實(shí)踐當(dāng)中有過成功的經(jīng)驗(yàn),當(dāng)然也經(jīng)歷過很多失敗的教訓(xùn),在這些過程中,我一直在思考大數(shù)據(jù)治理究竟是在治理什么?要達(dá)到什么樣的合理目標(biāo)?中間應(yīng)該怎么避免走一些彎路?今天就借這個機(jī)會跟各位分享一下我曾經(jīng)趟過的坑,希望對大家有一些借鑒意義。 誤區(qū)一:客戶需求不明確 客戶既然請廠商來幫助自己做數(shù)據(jù)治理,必定是看到了自己的數(shù)據(jù)存在種種問題。但是做什么,怎么做,做多大的范圍,先做什么后做什么,達(dá)到什么樣的目標(biāo),業(yè)務(wù)部門、技術(shù)部門、廠商之間如何配合做······很多客戶其實(shí)并沒有想清楚自已真正想解決的問題。數(shù)據(jù)治理,難在找到一個切入點(diǎn)。 誤區(qū)二:數(shù)據(jù)治理是技術(shù)部門的事 數(shù)據(jù)問題產(chǎn)生的原因,往往是業(yè)務(wù)>技術(shù),如:數(shù)據(jù)來源渠道多,責(zé)任不明確,導(dǎo)致同一份數(shù)據(jù)在不同的信息系統(tǒng)有不同的表述;業(yè)務(wù)需求不清晰,數(shù)據(jù)填報(bào)不規(guī)范或缺失,等等。很多表面上的技術(shù)問題,如ETL過程中某代號變更導(dǎo)致數(shù)據(jù)加工出錯,影響報(bào)表中的數(shù)據(jù)正確性等,在本質(zhì)上其實(shí)還是業(yè)務(wù)管理的不規(guī)范。 我在與很多客戶做數(shù)據(jù)治理交流的時候,發(fā)現(xiàn)大部分客戶認(rèn)識不到數(shù)據(jù)質(zhì)量問題發(fā)生的根本原因,只想從技術(shù)維度單方面來解決數(shù)據(jù)問題,這樣的思維方式導(dǎo)致客戶在規(guī)劃數(shù)據(jù)治理的時候,根本沒有考慮到建立一個涵蓋技術(shù)組、業(yè)務(wù)組的強(qiáng)有力的組織架構(gòu)和能有效執(zhí)行的制度流程,導(dǎo)致效果大打折扣。 誤區(qū)三:大而全的數(shù)據(jù)治理 出于投資回報(bào)的考慮,客戶往往傾向于做一個覆蓋全業(yè)務(wù)和技術(shù)域的、大而全的數(shù)據(jù)治理項(xiàng)目。從數(shù)據(jù)的產(chǎn)生,到加工、應(yīng)用、銷毀,數(shù)據(jù)的整個生命周期他們希望都能管到。從業(yè)務(wù)系統(tǒng),到數(shù)據(jù)中心,到數(shù)據(jù)應(yīng)用,里面的每個數(shù)據(jù)他們希望都能被納入到數(shù)據(jù)治理的范圍中來。 但殊不知廣義上的數(shù)據(jù)治理是一個很大的概念,包括很多內(nèi)容,想在一個項(xiàng)目里就做完通常是不可能的,而是需要分期分批地實(shí)施,所以廠商如果屈從于客戶的這種想法,很容易導(dǎo)致最后哪個也做不好,用不起來。所以,我們需要引導(dǎo)客戶,遵循2/8原則——80%的問題產(chǎn)生于20%的系統(tǒng)和數(shù)據(jù)——從最核心的系統(tǒng)、最重要的數(shù)據(jù)、最容易產(chǎn)生問題的地方開始著手做數(shù)據(jù)治理。 誤區(qū)四:工具是萬能的 很多客戶都認(rèn)為,數(shù)據(jù)治理就是花一些錢,買一些工具,認(rèn)為工具就是一個過濾器,過濾器做好了,數(shù)據(jù)從中間一過,就沒問題了。結(jié)果是:一方面功能越做越多,另一方面實(shí)際上線后,功能復(fù)雜,用戶不愿意用。 其實(shí)上面的想法是一種簡單化的思維,數(shù)據(jù)治理本身包含很多的內(nèi)容——組織架構(gòu)、制度流程、成熟工具、現(xiàn)場實(shí)施和運(yùn)維——這四項(xiàng)缺一不可,工具只是其中一部分內(nèi)容。大家在做數(shù)據(jù)治理最容易忽視的就是組織架構(gòu)和人員配置,但實(shí)際上所有的活動流程、制度規(guī)范都需要人來執(zhí)行、落實(shí)和推動,沒有對人員的安排,后續(xù)工作很難得到保障。建議大家在做數(shù)據(jù)治理的時候?qū)⒔M織架構(gòu)放在第一位,有組織的存在,就會有人去思考這方面的工作,怎么去推動,持續(xù)把事情做好,以人為中心的數(shù)據(jù)治理工作,才更容易推廣落地。 誤區(qū)五:數(shù)據(jù)標(biāo)準(zhǔn)難落地 很多客戶一說到數(shù)據(jù)治理,馬上就說我們有很多數(shù)據(jù)標(biāo)準(zhǔn),但是這些標(biāo)準(zhǔn)卻統(tǒng)統(tǒng)沒有落地,因此,我們要先做數(shù)據(jù)標(biāo)準(zhǔn)的落地。數(shù)據(jù)標(biāo)準(zhǔn)真正落地了,數(shù)據(jù)質(zhì)量自然就好了。 但這種說法其實(shí)混淆了數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)標(biāo)準(zhǔn)化。首先要明白一個道理:數(shù)據(jù)標(biāo)準(zhǔn)是一定要做的,但是數(shù)據(jù)標(biāo)準(zhǔn)化,也就是數(shù)據(jù)標(biāo)準(zhǔn)的落地,則需要分情況實(shí)施。后續(xù)會有一篇專門的文章,來討論數(shù)據(jù)標(biāo)準(zhǔn)和標(biāo)準(zhǔn)化工作。 誤區(qū)六:數(shù)據(jù)質(zhì)量問題找出來了,然后呢? 辛辛苦苦建立起來平臺,業(yè)務(wù)和技術(shù)人員通力合作,配置好了數(shù)據(jù)質(zhì)量的檢核規(guī)則,也找出來了一大堆的數(shù)據(jù)質(zhì)量問題,然后呢?半年之后,一年之后,同樣的數(shù)據(jù)質(zhì)量問題依舊存在。 發(fā)生這種問題的根源在于沒有形成數(shù)據(jù)質(zhì)量問責(zé)的閉環(huán)。要做到數(shù)據(jù)質(zhì)量問題的問責(zé),首先需要做到數(shù)據(jù)質(zhì)量問題的定責(zé)。定責(zé)的基本原則是:誰生產(chǎn),誰負(fù)責(zé)。數(shù)據(jù)是從誰那里出來的,誰負(fù)責(zé)處理數(shù)據(jù)質(zhì)量問題。定責(zé)之后是問責(zé),問責(zé)之后是整改和反饋,然后是質(zhì)量問題的新一輪評估,直至形成績效考核和排名。只有形成這種工作閉環(huán),才能真正提升數(shù)據(jù)質(zhì)量。 誤區(qū)七:你們好像什么也沒做? 很多數(shù)據(jù)治理的項(xiàng)目難驗(yàn)收,客戶往往有疑問:你們做數(shù)據(jù)治理究竟干了些啥?看你們匯報(bào)說干了一大堆事情,我們怎么什么都看不到?發(fā)生這種情況,原因往往有前面誤區(qū)一所說的客戶需求不明確,誤區(qū)三所說的做了大而全的數(shù)據(jù)治理而難以收尾等,但還有一個原因不容忽視,那就是沒有讓客戶感知到數(shù)據(jù)治理的成果,可以在成果的可視化呈現(xiàn),以及平常與客戶的溝通、培訓(xùn)、知識轉(zhuǎn)移等過程中,就數(shù)據(jù)治理的重要性、發(fā)揮的價值等方面對客戶進(jìn)行潛移默化的影響。 總·結(jié) 在激烈的市場競爭下,大數(shù)據(jù)廠商提出來數(shù)據(jù)治理的各種理念,有的提出覆蓋數(shù)據(jù)全生命周期的數(shù)據(jù)治理,有的提出以用戶為中心的自服務(wù)化數(shù)據(jù)治理,有的提出減少人工干預(yù)、節(jié)省成本的基于人工智能的自動化數(shù)據(jù)治理,在面對這些概念的時候,我們一方面要對數(shù)據(jù)現(xiàn)狀有清晰的認(rèn)識,對數(shù)據(jù)治理的目標(biāo)有明確的訴求,另一方面還要知道數(shù)據(jù)治理中各種常見的誤區(qū),跨越這些陷阱,才能把數(shù)據(jù)治理工作真正落到實(shí)處,項(xiàng)目取得成效,做到數(shù)據(jù)更準(zhǔn)確,數(shù)據(jù)更好取,數(shù)據(jù)更好用,真正地用數(shù)據(jù)提升業(yè)務(wù)水平。 作者簡介:蔣珍波, 6年+大數(shù)據(jù)治理經(jīng)驗(yàn),擅長為客戶提供科學(xué)合理的數(shù)據(jù)治理解決方案。曾先后供職于東南融通、軟通動力、普元信息等公司,負(fù)責(zé)過數(shù)據(jù)倉庫建設(shè)、BI、大數(shù)據(jù)平臺、數(shù)據(jù)治理等售前咨詢等工作,有政府、電力、制造業(yè)等行業(yè)經(jīng)驗(yàn)。目前在數(shù)瀾科技擔(dān)任大數(shù)據(jù)平臺售前咨詢工作。 關(guān)于數(shù)瀾科技 數(shù)瀾科技是一家專注于企業(yè)數(shù)據(jù)資產(chǎn)化及應(yīng)用增值的專業(yè)大數(shù)據(jù)服務(wù)公司,致力于將領(lǐng)先的大數(shù)據(jù)理念和實(shí)踐經(jīng)驗(yàn)傳遞給各領(lǐng)域企業(yè)和政府客戶,幫助企業(yè)和政府將數(shù)據(jù)轉(zhuǎn)化成生產(chǎn)資料,并借助云計(jì)算和算法賦能,最終實(shí)現(xiàn)企業(yè)生產(chǎn)力和政府治理能力的快速提升。 自2016年6月成立至今,數(shù)瀾團(tuán)隊(duì)踐行大數(shù)據(jù)“連接”、“不確定性”和“場景化”的三大核心理念,目前已為近超過1000家企業(yè)和政府用戶提供大數(shù)據(jù)相關(guān)服務(wù),旗下核心產(chǎn)品數(shù)棲平臺作為國內(nèi)領(lǐng)先的一站式大數(shù)據(jù)資產(chǎn)化及應(yīng)用平臺,助力地產(chǎn)、零售、政企、金融、汽車等多領(lǐng)域客戶取得卓越的數(shù)據(jù)業(yè)務(wù)效果。秉承著“致力于企業(yè)數(shù)據(jù)資產(chǎn)化及應(yīng)用增值”,共建大數(shù)據(jù)生態(tài)服務(wù)的愿景,數(shù)瀾科技將堅(jiān)持與各數(shù)據(jù)消費(fèi)方、數(shù)據(jù)開發(fā)方和數(shù)據(jù)提供方等專業(yè)生態(tài)伙伴共同攜手,共迎大數(shù)據(jù)應(yīng)用的美好未來。 |
|
|