- 主數據管理:企業數據化建設基礎
- 張旭 陳吉平 楊海峰等
- 3856字
- 2021-10-15 19:05:06
1 主數據的認知
1.1 說在主數據之前
1.1.1 兩個世界
我們生活在一個客觀的世界中,用自己的眼睛去看、鼻子去聞、耳朵去聽、舌頭去嘗、肌膚去感觸,這些是我們與生俱來的能力。這些過程也是信息收集的過程,這些收集到的信息會通過我們的神經網絡傳遞到大腦中存儲和計算,大腦產出的結果信息指導我們做出對應的行動,待我們的行動作用于客觀世界后,其結果再以信息的形式反饋回大腦,這樣就形成了信息閉環。信息在這個閉環里往復運動,我們的大腦在這個過程中也不斷地對信息進行抽象和總結,從而把這些簡單的信息變成更高級的信息,如經驗和知識。經驗和知識又在更深的層面影響我們對世界的認識和我們的行為。
這個過程如此重要,甚至直接關系到個人的生死乃至人類的生存和發展,促使我們竭盡所能地制造各種工具來幫助我們進行這樣的信息循環。比如,在信息的獲取方面幫助我們,如望遠鏡、顯微鏡、聽診器等是信息獲取工具;在信息的傳遞、存儲方面幫助我們,如電話、電報、烽火臺等是信息傳遞工具,而竹簡、羊皮、紙張、硬盤等是信息存儲工具或稱持久化工具;在計算等方面幫助我們,如算盤、計算器、計算機等是信息計算工具。
當我們開始用一個個“0”和“1”的二進制字符串進行信息的傳遞、存儲和計算時,新的信息化革命便開始了。相比上一代或前幾代的信息化工具的發明創造,這一次的信息化革命過程對社會的影響更加廣泛和深刻,幾乎涉及各個方面的信息工具的改變,尤為引人關注的是我們對信息存儲模型,以及在這個存儲模型之上計算方法的深入探索和研究。這是我們以往所未曾重點關注或沒有能力關注的一個環節,也是在信息流轉環節中十分重要、關鍵的環節。以往的這些活動都是在我們的大腦中秘密進行的,但是現在我們可以把這個模型及其內部的計算方式在體外模擬,同時讓完整的信息流在體外實現完整閉環,且高度自治。這是有劃時代意義的一次改變。而這一切的基礎,就是一個相對完整和具有一定規模的數據模型,以及在這個數據模型上的各種計算方法。這個模型具有以下特點。
(1)一個從現實世界抽象出來的數據模型。
(2)數據模型中有眾多數據,用以記錄現實世界的情況。
(3)交互的界面,讓現實世界的情況和虛擬世界保持一致。
這無疑是一個創舉,即使這樣的數據模型比較粗糙和簡陋,但在初期也利用它獲得了巨大的價值。我們可以把這個虛擬的世界理解為一個很小的點,這個點基本不受空間和時間的限制。我們通過溝通的界面,把所有現實世界中的情況都映射到這個點里。最后,這個虛擬的世界就和真實的世界變得越來越相似,成為真實世界的一個映射版本。
我們通過這個虛擬的世界可以做很多事情,如下。
1.通信
這個點基本不受空間的限制,即使遠隔萬里也基本不會受到影響;人們可以方便地利用這個點進行通信和業務協作。
2.記錄信息
它可以詳細地記錄每一個字節的信息,且不會出現任何錯誤和丟失。如果存儲的空間足夠大,那么從它啟用開始,一直到它結束壽命,所有的信息都會被記錄下來。
3.了解過去、洞悉當下、預測未來
我們可以利用這個點里的信息,對過去發生的事情進行回溯和統計,也可以利用各種計算方法對各種宏觀和微觀的事情進行分析,并使用這些更加準確的分析成果,還可以讓這個點具有一定的智能。目前,這些“智能”只是最初的形態,可以接管相對簡單的腦力工作。
目前,這個虛擬的世界遠沒有我們想象中的成熟和廣闊,甚至在一個企業內部都不得不被分割成幾個、幾十個獨立的局部模型,這是由我們當前的技術手段、認識的局限性和現實的復雜性所造成的。所以,這個數據模型在追尋價值的方向上,表現出以下發展訴求。
(1)更加翔實地描述真實世界。
(2)描述更加廣闊的世界。
(3)能夠與其他模型進行交互和協作。
(4)降低與真實世界交互的難度,更方便地獲取數據和輸出數據。
(5)源源不斷的算力需求和對更加復雜、更加有價值的計算模型的需求。
有些人對這個進程激動不已,有些人則顯示出了一些擔憂。但是無論怎樣,目前整體的模型構建權力還是掌握在人類手中的,而我們所建立的數據模型也僅是一個個局部的、微小的、分散的模型,它們各自為政,但都在努力地成長。至少在一個較長的時間段里,我們的主要工作還是竭盡全力地推動它成長和變強。
1.1.2 數字化企業
回到當前的工作中來,本書所關注的對象是企業。目前,企業中的眾多獨立應用系統和它們所描述的業務模型正在支撐企業的業務運轉。我們首先來關注一下這些應用系統是如何運轉的,以及我們對它們的期望。
(1)數據庫(數據倉庫)中有眾多二維表,以及這些表中的數據。
(2)系統中有一個后端處理程序負責處理業務邏輯,有一個前端處理程序負責處理交互界面。
(3)讓企業的業務能夠在系統中流轉和記錄,同時保證時效性。
(4)系統具有一定的抽象性,當業務發生預測內的變化時可以立即調整。
(5)系統具有一定的開放性,當業務發生變化時可以定制、更改。
(6)當業務大量涌現的時候,系統能夠游刃有余地應對。
(7)系統具有合理的業務功能抽象模塊,便于未來的擴展和組合。
當前的企業信息化建設是一個個專業業務系統羅列和搭建的過程。在這個過程中,最核心、價值最高、最關鍵的業務優先被信息系統覆蓋,如財務、庫存、采購、生產、銷售;第二梯隊是辦公自動化、人力資源管理、客戶關系管理、供應商管理等系統;第三梯隊是法務、風控等系統。在這個過程中,我們遇到了一些典型的問題,也在一定程度上找到了對應的解決方案,如下。
(1)有一個軟件供應商能夠提供企業所需要的所有應用軟件。
(2)這些應用系統之間可以相互通信,共同組合成一個大的生態體系。
(3)系統集團中的某些應用系統能夠上下貫通使用一套軟件,能夠看到實際的明細情況,而不是被動地等待每周的固定報表。
這些需求對應著平臺化、組件化、SOA(面向服務的架構)、集團管控、業務中臺、微服務等一系列方案。但是,信息化企業和我們最終所期望的數據化企業還有很大的差別,數據化企業至少應當具有以下特征(非統一視角)。
1.業務線上化
企業信息化建設是企業數據化建設的前提,信息化建設的本意是將線下業務線上化,打破空間的約束,將業務流程標準化和固化,從而大幅提升企業經營效率。但是對于企業數據化建設而言,企業信息化建設則是將這個企業的各種行為有效地映射到數據模型中,數據模型和數據是企業數據化建設的基礎。
2.企業透明化
在一個數據化建設完善的企業中,每個崗位都能夠在數據權限允許的范圍內,不受時間和空間的限制,從而得到更豐富的業務數據和行為數據。比如,集團領導不但可以知道各級企業的匯總報表數據,還可以隨時深入查看每一個具體的業務數據,如財務、人力資源數據,他們可以像教練指揮賽場上的球員一樣,指揮一個跨國企業。企業透明化可以讓企業的組織結構更加扁平,從樹形結構變成網狀協作結構。
3.數據化思維、量化業務、洞察細節
當企業中所有實體的行為在企業內部都透明時,數據化的業務思維、科學的業務描述體系將會大幅降低工作協作的內耗。尤其是對于管理成本居高不下的大型企業而言,這可以打破以往的管理規模瓶頸,進一步發揮體量優勢,同時可以更多地借助數據分析,進行精細化管理和判斷。
4.智慧的端倪、對各個層級的能力革命
數據化可能意味著第一次信息可以脫離大腦而在體外進行完整閉環循環,即構建“智慧大腦”。也許很多年后我們發現這個“智慧大腦”和信息化中寫好的程序或生產線上的自動手臂并沒有本質的區別,但是至少目前人工智能還是讓我們感到驚艷的。如果把企業的職位層級比作金字塔,那么這個金字塔中所有的崗位和人員都會在“智慧大腦”的幫助下受益或受到沖擊,而且越是底層可能受到的沖擊越大。因為,越是底層,工作中機械化、重復性的工作比例越高。但是從整體視角來看,如果說上述內容還是從量上提升企業競爭力的話,那么企業智慧大腦的構建將會從質上改變一個企業。
5.豐富的數據供給和數據驅動
數據化企業中各個崗位、角色都會獲得比以往更加豐富、更加準確、更加快速的數據支撐,而且這些數據的“含金量”也將更高。從了解業務的情況到洞察細節的建議,或者對未來的預測,甚至直接越過人類的自主決策和運營等,我們會逐漸從需要數據過渡到被數據驅動。
1.1.3 企業數字化發展阻礙
至少到目前為止,我們只有極少數的企業可以被稱作數據化企業,而大部分企業還處于從信息化到數據化的轉化過程中,并且這個過程會很復雜和漫長。我們認為至少以下環節是傳統企業所需要經歷的。
(1)相對完整的信息化建設工作。
(2)完整且質量良好的全域數據及數據治理體系的良好運轉。
(3)支持企業全面數據化轉型的數據平臺。
(4)企業員工的數據化理念,充分的業務統計與分析需求,用數據說話的習慣。
(5)眾多的大數據、AI應用場景構想。
目前,很多企業都處于信息化建設初步完成,數據治理體系正在構建,數據平臺正在論證與搭建,數據理念不斷加強,努力尋找更多數據應用場景和價值的階段。在這個階段中,基礎數據的統一和高質量供給成為未來企業數據化發展的核心環節。而主數據管理(Main Data Management,MDM)作為這個核心環節的重要解決方案被廣泛使用,原因如下。
(1)業務本身需要一套標準的數據模型和數據,用以反映客觀存在,否則將帶來業務上的混亂,而通過業務上的問題反向推動各個系統數據一致,是一種非常不劃算的做法。
(2)多個系統間需要進行數據交換,在交換過程中,如果對于客觀實體的模型描述不一致,則業務數據交換將非常煩瑣和困難。
(3)當構建數據倉庫進行跨業務系統間的數據分析時非常困難。
我們期望,能夠在以企業的視角去觀察的時候,有一個權威的、完整的、客觀實際的模型,然后讓所有的系統都能夠方便地使用這個模型及模型中的數據。