3 數(shù)據(jù)中臺(tái)概述

3.1 數(shù)據(jù)中臺(tái)是什么

當(dāng)前的數(shù)據(jù)中臺(tái)定義是寬泛的，這與數(shù)據(jù)中臺(tái)目前所處的實(shí)際業(yè)務(wù)階段相符合。我們認(rèn)為數(shù)據(jù)中臺(tái)至少是一個(gè)分布式的數(shù)據(jù)倉庫，同時(shí)包含相對(duì)應(yīng)實(shí)施的方法論和方案，但是數(shù)據(jù)中臺(tái)又無法和企業(yè)全面數(shù)據(jù)化畫等號(hào)，企業(yè)全面數(shù)據(jù)化一定是一個(gè)更大的課題。介于分布式數(shù)據(jù)倉庫和企業(yè)全面數(shù)據(jù)化中間的任意一個(gè)點(diǎn)都可以被定義為數(shù)據(jù)中臺(tái)。這完全取決于服務(wù)廠商的能力。無論當(dāng)前的服務(wù)廠商如何對(duì)數(shù)據(jù)中臺(tái)進(jìn)行定義和定位，數(shù)據(jù)中臺(tái)一定要能夠支撐得起企業(yè)全面數(shù)據(jù)化這個(gè)主題。

我們認(rèn)為數(shù)據(jù)中臺(tái)是實(shí)現(xiàn)企業(yè)全面數(shù)據(jù)化的一個(gè)解決方案，是一套支撐企業(yè)全面數(shù)據(jù)化的架構(gòu)，會(huì)成為企業(yè)開展全面數(shù)據(jù)化的基礎(chǔ)設(shè)施。下面介紹我們所認(rèn)為的數(shù)據(jù)中臺(tái)應(yīng)該包含的具體內(nèi)容。

3.1.1 數(shù)據(jù)中臺(tái)應(yīng)該告訴企業(yè)全面數(shù)據(jù)化是什么樣子的

數(shù)據(jù)中臺(tái)應(yīng)該為企業(yè)全面數(shù)據(jù)化建設(shè)進(jìn)行整體藍(lán)圖的規(guī)劃。

首先，數(shù)據(jù)中臺(tái)要能完整地描述企業(yè)業(yè)務(wù)。一般來說，數(shù)據(jù)中臺(tái)可以從以下幾個(gè)層面來描述一個(gè)企業(yè)的業(yè)務(wù)：

（1）從組織、崗位、職責(zé)方面描述企業(yè)業(yè)務(wù)。

（2）從規(guī)章制度、業(yè)務(wù)規(guī)范等方面描述企業(yè)業(yè)務(wù)。

（3）從業(yè)務(wù)流程及業(yè)務(wù)場景層面描述企業(yè)業(yè)務(wù)。

其次，數(shù)據(jù)中臺(tái)要從企業(yè)業(yè)務(wù)現(xiàn)狀和業(yè)務(wù)發(fā)展目標(biāo)入手，規(guī)劃企業(yè)的數(shù)據(jù)應(yīng)用場景。數(shù)據(jù)應(yīng)用規(guī)劃應(yīng)該描述具體的數(shù)據(jù)應(yīng)用，是業(yè)務(wù)統(tǒng)計(jì)分析類應(yīng)用、畫像類應(yīng)用，還是智能智慧的應(yīng)用，并讓這些場景與組織崗位、業(yè)務(wù)場景、業(yè)務(wù)流程相關(guān)聯(lián)。

再次，企業(yè)要構(gòu)建規(guī)范、清晰的業(yè)務(wù)指標(biāo)體系與實(shí)體標(biāo)簽體系，并將具體的指標(biāo)和標(biāo)簽與數(shù)據(jù)應(yīng)用相互關(guān)聯(lián)。

然后，企業(yè)需要根據(jù)數(shù)據(jù)資產(chǎn)和業(yè)務(wù)系統(tǒng)現(xiàn)狀，要對(duì)規(guī)劃的數(shù)據(jù)應(yīng)用進(jìn)行價(jià)值評(píng)估，以及優(yōu)先級(jí)排序，以便合理地開展項(xiàng)目建設(shè)，逐步實(shí)現(xiàn)全面數(shù)據(jù)化。

最后，企業(yè)需要構(gòu)建數(shù)據(jù)應(yīng)用規(guī)劃體系。構(gòu)建規(guī)劃體系是指既要保證當(dāng)前規(guī)劃內(nèi)容的前瞻性、科學(xué)性，又可以進(jìn)行持續(xù)的迭代規(guī)劃。數(shù)據(jù)應(yīng)用規(guī)劃工作沒有必要在一開始就規(guī)劃得大而全，只要規(guī)劃的內(nèi)容足以支撐當(dāng)前的項(xiàng)目啟動(dòng)和運(yùn)轉(zhuǎn)即可。因?yàn)閿?shù)據(jù)的供給和業(yè)務(wù)的需求是沒有盡頭的，所以我們要構(gòu)建一個(gè)可以持續(xù)規(guī)劃的體系，以便持續(xù)產(chǎn)出規(guī)劃內(nèi)容。

3.1.2 數(shù)據(jù)中臺(tái)應(yīng)該匯聚全域數(shù)據(jù)

建設(shè)數(shù)據(jù)中臺(tái)最重要的是構(gòu)建處于中間位置的數(shù)據(jù)資產(chǎn)層，匯聚所有企業(yè)內(nèi)的數(shù)字化數(shù)據(jù)。數(shù)據(jù)資產(chǎn)層是數(shù)據(jù)中臺(tái)的核心，其他工作都基于這一層的各個(gè)方位延展。具體內(nèi)容如下。

1．梳理數(shù)據(jù)資源

我們要掌握企業(yè)當(dāng)前的所有數(shù)據(jù)資源情況。如果我們不能掌握所有的數(shù)據(jù)資源情況，那么數(shù)據(jù)化建設(shè)的最基本條件都將不具備，所謂的全域數(shù)據(jù)也就無從談起。數(shù)據(jù)中臺(tái)全域數(shù)據(jù)可以在數(shù)據(jù)資源全面盤點(diǎn)的基礎(chǔ)上根據(jù)使用目的分批進(jìn)入。

2．制定模型設(shè)計(jì)規(guī)范和開發(fā)規(guī)劃

數(shù)據(jù)中臺(tái)應(yīng)該提供更先進(jìn)的適用于大數(shù)據(jù)開發(fā)的數(shù)據(jù)模型設(shè)計(jì)規(guī)范和方法，并提供可以支撐長時(shí)間運(yùn)轉(zhuǎn)的開發(fā)規(guī)范和維護(hù)規(guī)范。

3．構(gòu)建完整的數(shù)據(jù)倉庫模型

我們應(yīng)該對(duì)匯聚的數(shù)據(jù)進(jìn)行科學(xué)的數(shù)據(jù)倉庫模型設(shè)計(jì)。

4．選用合適的數(shù)據(jù)倉庫產(chǎn)品

我們需要在當(dāng)前技術(shù)體系下，選擇性價(jià)比最優(yōu)、最能夠支撐企業(yè)業(yè)務(wù)發(fā)展的數(shù)據(jù)倉庫產(chǎn)品，以存儲(chǔ)全域數(shù)據(jù)。

5．進(jìn)行數(shù)據(jù)中臺(tái)技術(shù)架構(gòu)設(shè)計(jì)

我們應(yīng)該根據(jù)企業(yè)當(dāng)前情況，設(shè)計(jì)數(shù)據(jù)中臺(tái)的技術(shù)架構(gòu)，包括如何兼容原有的數(shù)據(jù)倉庫產(chǎn)品、是否部署在云上、數(shù)據(jù)中臺(tái)和其他應(yīng)用的交互關(guān)系如何等。

6．進(jìn)行數(shù)據(jù)抽取、清洗、開發(fā)

數(shù)據(jù)中臺(tái)需要構(gòu)建操作數(shù)據(jù)存儲(chǔ)（Operational Data Store，ODS）層，進(jìn)行數(shù)據(jù)的抽取和同步，并對(duì)數(shù)據(jù)進(jìn)行必要的清洗和開發(fā)等。

7．支撐數(shù)據(jù)應(yīng)用建設(shè)

數(shù)據(jù)中臺(tái)應(yīng)該為可能進(jìn)行的數(shù)據(jù)應(yīng)用提供數(shù)據(jù)及數(shù)據(jù)模型支持，提供系統(tǒng)權(quán)限，讓數(shù)據(jù)應(yīng)用的開發(fā)部門在數(shù)據(jù)中臺(tái)內(nèi)部完成開發(fā)。

3.1.3 數(shù)據(jù)中臺(tái)應(yīng)該能夠檢驗(yàn)數(shù)據(jù)治理的成果

數(shù)據(jù)中臺(tái)和數(shù)據(jù)治理工作相互獨(dú)立，我們甚至不鼓勵(lì)在數(shù)據(jù)中臺(tái)上做過度的數(shù)據(jù)清洗和包裝，因?yàn)檫@些只是對(duì)原始數(shù)據(jù)的美化和潤色，而我們并不能確定這樣的美化和潤色是完全正確的。但是我們可以通過數(shù)據(jù)中臺(tái)做數(shù)據(jù)質(zhì)量的檢驗(yàn)工作，并通過檢查的結(jié)果推動(dòng)數(shù)據(jù)治理工作前行或者對(duì)數(shù)據(jù)治理的結(jié)果進(jìn)行檢測。具體內(nèi)容如下。

1．基礎(chǔ)數(shù)據(jù)的數(shù)據(jù)治理檢驗(yàn)

（1）檢驗(yàn)數(shù)據(jù)是否有多個(gè)源頭，是否做到了一物一碼。

（2）檢驗(yàn)數(shù)據(jù)屬性的定義是否清晰。

（3）檢驗(yàn)數(shù)據(jù)內(nèi)容是否與數(shù)據(jù)屬性的定義一致。

2．業(yè)務(wù)交易數(shù)據(jù)的數(shù)據(jù)治理成果檢驗(yàn)與校正

（1）檢驗(yàn)交易數(shù)據(jù)的模型定義與當(dāng)前數(shù)據(jù)內(nèi)容是否相符，若不相符則進(jìn)行校正。

（2）判斷數(shù)據(jù)完整度，若不完整則進(jìn)行校正。

（3）檢驗(yàn)?zāi)硞€(gè)數(shù)據(jù)屬性內(nèi)的數(shù)據(jù)是否異常，若異常則進(jìn)行校正。

（4）檢驗(yàn)一條記錄中的數(shù)據(jù)內(nèi)容是否與業(yè)務(wù)邏輯關(guān)系沖突，若沖突則進(jìn)行校正。

3．實(shí)體行為數(shù)據(jù)的數(shù)據(jù)治理成果檢驗(yàn)與校正

實(shí)體行為數(shù)據(jù)大抵可以歸納到大數(shù)據(jù)的范疇，也就是說這些數(shù)據(jù)天然就不是非常完整的，持久化的形式也可能是文件、文檔的形式，且嚴(yán)謹(jǐn)性要求也相較于交易數(shù)據(jù)偏低。所以，實(shí)體行為數(shù)據(jù)的治理可以被理解為降噪，利用簡單的清洗或者算法對(duì)數(shù)據(jù)中的雜亂數(shù)據(jù)進(jìn)行過濾。如果數(shù)據(jù)質(zhì)量低于可使用的情況，那么要求數(shù)據(jù)源頭參與治理。

4．業(yè)務(wù)指標(biāo)與實(shí)體標(biāo)簽的定義與規(guī)范管理

業(yè)務(wù)指標(biāo)和實(shí)體標(biāo)簽散落在企業(yè)中的各條業(yè)務(wù)線與業(yè)務(wù)部門之中。統(tǒng)一的定義和管理是對(duì)企業(yè)業(yè)務(wù)數(shù)據(jù)化的一次大動(dòng)作，同時(shí)也是把數(shù)據(jù)化從部門級(jí)別提升到企業(yè)級(jí)別的一次整體進(jìn)步。

3.1.4 數(shù)據(jù)中臺(tái)應(yīng)該全面支持?jǐn)?shù)據(jù)應(yīng)用落地

數(shù)據(jù)中臺(tái)并不直接產(chǎn)生數(shù)據(jù)的應(yīng)用價(jià)值或者業(yè)務(wù)價(jià)值。絕大多數(shù)業(yè)務(wù)價(jià)值都是由數(shù)據(jù)應(yīng)用產(chǎn)生的，就像在足球比賽中，大多數(shù)進(jìn)球的球員都是前鋒，但是我們不能說中鋒、后衛(wèi)和守門員是沒有用的。反而在現(xiàn)代足球運(yùn)動(dòng)中，中場球員更多地扮演球隊(duì)大腦的角色，是一場比賽的指揮者和靈魂人物。數(shù)據(jù)中臺(tái)的價(jià)值也可以通過它對(duì)數(shù)據(jù)應(yīng)用的支撐間接衡量。

1．在實(shí)施數(shù)據(jù)應(yīng)用之前做好數(shù)據(jù)情況判斷

在實(shí)施數(shù)據(jù)應(yīng)用之前，我們可以從數(shù)據(jù)中臺(tái)中查看所需數(shù)據(jù)情況和數(shù)據(jù)質(zhì)量情況，從而判定數(shù)據(jù)應(yīng)用落地的可行性和成功率。

2．在實(shí)施數(shù)據(jù)應(yīng)用之中提供數(shù)據(jù)開發(fā)環(huán)境

數(shù)據(jù)應(yīng)用從數(shù)據(jù)中臺(tái)中獲取數(shù)據(jù)，并且大部分?jǐn)?shù)據(jù)開發(fā)都要在數(shù)據(jù)中臺(tái)中進(jìn)行和完成。

3．在實(shí)施數(shù)據(jù)應(yīng)用之后進(jìn)行數(shù)據(jù)任務(wù)的監(jiān)控和維護(hù)

在實(shí)施數(shù)據(jù)應(yīng)用之后，我們需要依靠數(shù)據(jù)中臺(tái)進(jìn)行任務(wù)監(jiān)控和維護(hù)。

3.1.5 數(shù)據(jù)中臺(tái)可以包含企業(yè)數(shù)據(jù)化組織規(guī)劃內(nèi)容

數(shù)據(jù)運(yùn)營解決了傳統(tǒng)企業(yè)中數(shù)據(jù)應(yīng)用與業(yè)務(wù)應(yīng)用中間的問題。在企業(yè)當(dāng)前的狀況中，業(yè)務(wù)部門對(duì)數(shù)據(jù)的接受程度、對(duì)數(shù)據(jù)的需求和運(yùn)用需求還處于一種樸素的狀態(tài)，企業(yè)需要一個(gè)能夠有效地理解企業(yè)業(yè)務(wù)，收集數(shù)據(jù)應(yīng)用需求或者具備數(shù)據(jù)應(yīng)用的實(shí)踐經(jīng)驗(yàn)，為業(yè)務(wù)部門提出數(shù)據(jù)應(yīng)用解決方案的組織。同時(shí)，數(shù)據(jù)運(yùn)營團(tuán)隊(duì)要驅(qū)動(dòng)數(shù)據(jù)應(yīng)用成果的產(chǎn)生，乃至關(guān)心一系列的前置環(huán)節(jié)。