1.4 主數據管理與數據治理的關系

企業數據化建設是一項體量龐大的系統性工作，這個過程中所涉及的知識體系和各種子任務也是繁多的。同時由于我們所參與的數據化建設的階段、目標不同，出現了各種數據化建設相關的工作，如主數據管理、數據倉庫、數據中心、數據中臺、數據分析、數據挖掘、數據質量、數據治理、數據管理、數據資產管理等。每種工作由于工作視角不同，并且為了保證工作的整體完整性和效果，不得不設計一套相對完整的工作內容體系。當我們把這些工作內容進行體系拆分時會發現，各種數據化工作中存在很多重復性工作。因此，當我們把這些工作排重組合后，也許可以形成數據化工作的全集。

但各種數據化工作都從事過的顧問很少，這造成了某些體系之間的沖突和整體視角的混亂。而當前，企業的整體數據化轉型已經迫在眉睫，我們不得不從整體視角去看待這個問題，這也給了我們對各種數據工作內容重新劃定邊界的一個機會。

我們再次回顧幾個主要的數據問題，首先是工作對象、數據，我們可以把數據分成以下幾類。

（1）基礎數據、實體數據、主數據、維度數據、參照數據等。

無論采用什么稱呼，這些數據大多數描述的是客觀實體或一項核心任務，后續所有發生的行為都會由這些實體產生或圍繞這些實體而進行。

（2）交易數據、信息系統數據。

這是一類重要的行為數據，通常會涉及錢、職責等非常重要、關鍵、嚴肅的事情或行為，我們所了解到的傳統信息化系統所記錄的大量業務數據都應當屬于這類交易數據。

（3）行為數據、大數據。

這是一類數量非常大、看起來沒那么重要，且記錄的過程也不是非常嚴謹的關于實體行為的記錄數據，如記錄機器的日志數據、記錄線上購買者行為的埋點數據、記錄汽車行為的行駛軌跡數據等。這些數據通常用于構建標簽畫像，后續的應用同樣會產生巨大的價值。

（4）統計匯總數據、計算結果數據。

這類數據包括指標、標簽，以及所有基于上述三類數據計算得出的數據。這些數據在計算之前應當證明業務的需求及其業務價值，因為這些計算是需要花費大量存儲資源和算力的。這些數據將直接或者間接地作用于人或者機器，然后產生業務價值。

相對于工作對象、數據，我們把企業數據化建設分解成兩部分內容。

（1）數據生產工作。

數據生產工作是把企業中所有的數據匯聚在一起，物理上存儲在一個統一的數據倉庫中，同時邏輯上歸入一個完整的數據模型，然后在這個模型中進行各種各樣的數據加工和計算，以產生新的結果數據。這些結果數據會通過各種渠道反作用于業務，解決業務問題，產生業務價值，如提升營收、降低成本、提升效率、控制風險等。這就是我們經常說的數據驅動或數據產生價值。

在數據生產過程中有以下幾個關鍵的階段。

①數據產生。

②數據采集。

③數據清洗。

④數據存儲。

⑤數據加工。

（2）數據治理（管理）工作。

數據生產的過程并不是一帆風順的，需要經歷各種各樣的問題。比如，在基礎數據這個層次，就可能出現有多個數據版本的問題。在業務數據中，我們會發現很多數據有不同程度的缺失，甚至有些數據的數值明顯與其定義和常識相違背；在行為數據中，通常會存在噪聲數據等。但不管問題是什么，其最終的表現都是數據不準確。這就像在企業中生產產品一樣，無論是流程制造還是離散制造，總的來說，各種物質、物體不斷變化、組合或分解，最后從原料、部件變成成品，這個過程中無論工序多么標準、過程多么順暢，如果沒有標注、質量、安全等體系提供支撐和保障，那么最終的產品都很可能出現問題。而數據治理就是數據生產主線的保障體系。

我們認為數據治理工作至少應當包含以下幾個部分。

①數據標準。

②數據組織。

③數據質量。

④數據安全。

至于其他數據治理體系規范中所提及的數據治理工作，有些與數據生產體系的內容重合，有些相對次要，所以暫時不做討論。

數據治理涉及數據生產流程中的每個階段和每個方面，可以說，數據治理體系稍有缺失或體系運轉時的程度稍有減弱都會很快體現在最后的數據成果上。因為本書重點討論的內容是主數據管理，主數據管理應當歸類于基礎數據領域，是數據生產體系基礎層的內容，所以我們從主數據管理體系來介紹主數據管理體系與數據治理體系中的幾個核心部分的關系，同時再做適當的引申和延展。

1.4.1 與數據標準的關系

沒有規矩不成方圓，數據標準是數據治理或整體數據化建設的核心。在主數據管理體系中，主數據模型、主數據管理規范、主數據共享技術規范都可以看作數據標準。我們希望將所有數據生產線路上的規范都統一納入數據標準管理體系。

同時，數據生產過程中的每個環節都需要數據標準的支撐。

數據按照數據層級劃分，如表1-1所示。

數據按照數據生產過程劃分，如表1-2所示。

數據標準工作包括以下幾個部分。

（1）標準制定。

（2）標準執行。

（3）標準執行效果評估與考核。

（4）標準的維護與修改。

這些數據標準工作是分散的，涉及的范圍十分廣泛，關系到各個專業的領域和部門，且必須由不同的專業人員參與制定和管理。另外，這些標準具有很強的共性及權威性，需要進行統一管理和維護，同時需要對執行過程進行監控和對執行效果進行評估，在出現問題或環境發生變化后要及時調整和維護，所以統一的數據標準管理、運營體系是必需的。

筆者建議針對數據標準成立標準管理委員會。這個委員會的定位一定要高，具有比較高的權限和比較強的專業能力、決斷能力。同時，這個委員會應更偏重于一個虛擬的組織或一個小規模的實體組織，因為這個團隊所涉及的工作，需要依靠眾多的團隊、企業內的業務專家，以及企業外的專業服務團隊來一起完成。

1.4.2 與數據組織的關系

與數據生產、加工、治理、管理相關的崗位都可以納入數據組織的范疇。而且，由于我們對數據工作的重視和數據管理架構被企業引入，企業需要從數據工作的視角建立體系化的數據組織。

我們可以把數據組織分解為兩個主要部分。

第一部分是完全以數據工作為核心和主要工作內容的全職數據工作組織。這就和我們在進行企業信息化建設的過程中，要設立信息中心、信息管理部門，甚至設定首席信息官職位一樣，當企業進入數據化轉型階段時，我們也希望構建數據組織。

數據組織的職能應至少包含以下內容。

（1）進行企業數據化轉型的戰略設計及規劃工作。

（2）進行企業數據化整體架構工作。

（3）搭建企業數據化建設平臺。

（4）搭建數據治理架構，進行數據治理。

（5）與業務部門一起進行數據應用建設與應用創新。

（6）不斷完善數據組織并進行組織建設，以符合企業數據化轉型的需求。

數據組織中應當包含以下角色或者崗位。

（1）數據分析師。

（2）數據架構師。

（3）數據開發團隊。

（4）數據應用產品經理。

（5）數據治理團隊。

第二部分是兼職的數據管理工作者。因為除了單獨的數據組織部門，還有很多數據工作需要開展，所以我們需要在企業其他崗位中增加很多數據化相關工作內容和職責要求。比如，在進行主數據管理的過程中，數據模型的定義可以由專職的組織來完成，數據規范也可以由專職組織進行管理。但是，在數據產生的過程中需要各個部門和崗位的配合。比如，從以往情況來看，當數據質量出現問題時，需要對傳統的數據產生和管理方式進行調整，所以需要其他部門的配合，如在進行項目主數據管理時，項目的命名就可能需要多個部門的共同參與，同時需要知會上下游的相關部門和崗位。

有時，我們也會把這些崗位和增加的工作職責納入數據組織的范疇，這樣能夠更加完整地看待所有與數據相關的崗位和職能。數據化建設是一項體量龐大且復雜的工作，在其他數據化工作體系中，數據崗位的劃分可能更加煩瑣和復雜，建議采用以下原則進行職能劃分。

（1）工作飽滿性原則。

當企業規模巨大、工作量巨大的時候，應考慮進行崗位拆解，將工作進一步細分，提升工作處理效率。

（2）工作必要性原則。

從企業實際情況出發，做針對性的問題解決和崗位設置，而不是因為需要崗位而設定崗位，或者人為增加工作復雜性而構建更加臃腫的組織。

（3）工作不可替代性原則。

對于某些行業和企業，只有在崗位不可由外部服務廠商替代的情況下，才建議設置內部數據崗位。在很多情況下，企業只保持數據分析、架構等核心崗位就能夠與外部服務廠商一同為企業提供相對完整的數據化服務。

對于主數據管理工作，從主數據建模、主數據標準管理，到業務中的主數據管理與維護都離不開數據管理組織的支撐。

1.4.3 與數據質量的關系

很多失敗的數據應用，第一理由都歸集為數據質量問題導致最后的交付結果數據不準確，以致業務部門最終無法采納。那么，什么樣的問題才算作數據質量問題呢？當數據中很多字段存在大量的空數據時，這是由于數據質量存在問題，還是由于數據模型設計得不合理？

主數據管理最核心的價值在于提升基礎數據的整體數據質量，保證數據的及時性和準確性。

1.4.4 與數據安全的關系

主數據是企業的黃金數據，其數據價值不言而喻，所以如何保證主數據的使用安全是我們必須關注的內容。主數據應當完整納入數據安全管理體系，從數據存儲安排、防止竊取和泄露等諸多方面予以全方位的保障。