1.4 數(shù)據(jù)中臺開發(fā)流程

在這一節(jié)，筆者講一下數(shù)據(jù)中臺的開發(fā)流程，如圖1-7所示。一個指標從口徑的確認到上線、迭代都要經(jīng)歷圖示的這些過程。

數(shù)據(jù)中臺完成一個指標的開發(fā)需要經(jīng)歷11個步驟，分別是業(yè)務(wù)口徑梳理、技術(shù)口徑梳理、原型設(shè)計和評審、模型設(shè)計、數(shù)據(jù)開發(fā)、后端開發(fā)、前端開發(fā)、聯(lián)調(diào)、測試、上線、迭代。接下來我們分別看一下這些步驟都是做什么的。

（1）業(yè)務(wù)口徑梳理。這個步驟應(yīng)該由數(shù)據(jù)中臺產(chǎn)品經(jīng)理來主導(dǎo)。產(chǎn)品經(jīng)理需要與提出該指標的產(chǎn)品/運營負責(zé)人溝通，要問清楚這個指標有什么用、給誰用、業(yè)務(wù)流程是什么，還要確定指標定義、統(tǒng)計周期、計算方式等。不是所有的指標都有開發(fā)的意義，因為數(shù)據(jù)中臺每做一個指標都會花費大量的人力資源，所以一定要考慮開發(fā)這個指標的性價比——投入這么多資源，能夠給公司帶來什么。

（2）技術(shù)口徑梳理。這個步驟由模型設(shè)計師主導(dǎo)。首先，模型設(shè)計師需要理解數(shù)據(jù)指標涉及的業(yè)務(wù)邏輯，還需要理解指標定義、統(tǒng)計周期、計算方式等。接著，模型設(shè)計師需要與產(chǎn)品線的開發(fā)人員一起梳理數(shù)據(jù)指標涉及的表結(jié)構(gòu)和字段，這個工作比較重要，一定要精確到字段級別，在確定好這些字段后，就能初步判定這個指標在技術(shù)層面能不能統(tǒng)計，如果不能統(tǒng)計，模型設(shè)計師應(yīng)該主動告知產(chǎn)品經(jīng)理：①目前這個階段還沒法計算相關(guān)指標，②做了哪些功能后才能計算這些指標。

（3）原型設(shè)計和評審。這個步驟還是由產(chǎn)品經(jīng)理主導(dǎo)的。基于運營的需求設(shè)計原型，在原型設(shè)計完后，要經(jīng)過內(nèi)部評審和外部評審。在內(nèi)部評審中，產(chǎn)品經(jīng)理要召集數(shù)據(jù)中臺的架構(gòu)師、模型設(shè)計師、數(shù)據(jù)開發(fā)工程師、后端開發(fā)工程師、前端開發(fā)工程師、UI設(shè)計師、測試工程師，說明整個功能的價值和詳細的業(yè)務(wù)流程、操作流程，確保大家理解一致。接下來，產(chǎn)品經(jīng)理和運營人員要針對原型做一次外部評審，把有歧義的地方一并解決。對于比較重要的功能，產(chǎn)品經(jīng)理需要發(fā)郵件讓運營人員進一步確認，并同步給所有的產(chǎn)品/運營人員，保證大家的口徑一致。

（4）模型設(shè)計。這個步驟由數(shù)據(jù)中臺的模型設(shè)計師主導(dǎo)。業(yè)內(nèi)一般會采用分層建模的方式對數(shù)據(jù)進行更加科學(xué)的組織與存儲。模型一般分為5層，分別為ODS層（操作數(shù)據(jù)層）、DIM層（維度數(shù)據(jù)層）、DWD層（明細數(shù)據(jù)層）、DWS層（匯總數(shù)據(jù)層）、ADS層（應(yīng)用數(shù)據(jù)層），這是業(yè)界對于數(shù)據(jù)分層的常用的模型。模型設(shè)計工程師要清楚地知道數(shù)據(jù)來源于哪里、要怎么存儲。

（5）數(shù)據(jù)開發(fā)。這個步驟由數(shù)據(jù)開發(fā)工程師主導(dǎo)。首先，數(shù)據(jù)開發(fā)工程師要和模型設(shè)計師確定技術(shù)口徑，明確計算的指標都來自哪些業(yè)務(wù)系統(tǒng)。接著，數(shù)據(jù)開發(fā)工程師通過數(shù)據(jù)同步工具將數(shù)據(jù)同步到ODS層，并一層層地匯總，從ODS層到DWD層，再到DWS層，直到最后把可以直接服務(wù)應(yīng)用的數(shù)據(jù)填充到ADS層。另外，大數(shù)據(jù)開發(fā)工程的一個比較重要的工作就是設(shè)置調(diào)度任務(wù)——簡單來講就是配置指標在什么時候計算。數(shù)據(jù)開發(fā)工程師會寫好計算腳本（比如按照“T-1”的方式每天凌晨處理前一天的數(shù)據(jù)等）。隨著業(yè)務(wù)的增長，運營工作對于實時數(shù)據(jù)的需求越來越大，還有一些實時計算任務(wù)的配置也會由數(shù)據(jù)開發(fā)工程師完成。

（6）后端開發(fā)。這一步驟由后端開發(fā)工程師主導(dǎo)。后端開發(fā)工程師基于產(chǎn)品經(jīng)理對功能的定義，輸出相應(yīng)的接口給數(shù)據(jù)中臺的前端開發(fā)工程師或產(chǎn)品線的前端開發(fā)工程師。一般來說，最終對外提供服務(wù)的數(shù)據(jù)存儲在ADS層，后端開發(fā)工程師一般是基于ADS層的數(shù)據(jù)將數(shù)據(jù)封裝成對外服務(wù)的接口，后端開發(fā)工程師一方面要和數(shù)據(jù)開發(fā)工程師溝通好ADS層數(shù)據(jù)的存儲結(jié)構(gòu)，另一方面需要和產(chǎn)品經(jīng)理溝通產(chǎn)品的功能、性能方面的問題，以便為使用者提供更好的用戶體驗。

（7）前端開發(fā)。這個步驟由前端開發(fā)工程師主導(dǎo)。在原型設(shè)計出來后，產(chǎn)品經(jīng)理會讓UI設(shè)計師基于產(chǎn)品功能原型設(shè)計UI。在功能界面最終定型后，UI設(shè)計師會給前端開發(fā)工程師提供切圖。前端開發(fā)工程師基于UI的切圖做前端頁面的開發(fā)。

（8）聯(lián)調(diào)。數(shù)據(jù)開發(fā)工程師、前端開發(fā)工程師、后端開發(fā)工程師都要參與這個步驟。一般來說，數(shù)據(jù)開發(fā)工程師要基于歷史的數(shù)據(jù)執(zhí)行計算任務(wù)并承擔數(shù)據(jù)準確性的校驗。前端開發(fā)工程師和后端開發(fā)工程師負責(zé)解決用戶操作的相關(guān)問題，保證不出現(xiàn)低級的錯誤。

（9）測試。這個步驟由測試工程師主導(dǎo)。在完成原型評審后，測試工程師就要開始寫測試用例，哪些是開發(fā)人員自測通過后才能交上來測試的內(nèi)容、哪些是開發(fā)人員要再次自測驗證的內(nèi)容，都需要在測試用例文檔上寫清楚。此時有經(jīng)驗的測試工程師可以向運營人員要一些歷史的統(tǒng)計數(shù)據(jù)來核對數(shù)據(jù)，不過運營人員的數(shù)據(jù)不一定準確，只能作為參考。在最終測試沒問題后，產(chǎn)品經(jīng)理可以請運營人員試用，如果在試用中發(fā)現(xiàn)數(shù)據(jù)準確性的問題則需要再進行一輪測試，以驗證數(shù)據(jù)。如果問題都解決了，整個研發(fā)過程就結(jié)束了。

（10）上線。運維工程師會配合數(shù)據(jù)中臺的前端開發(fā)工程師、后端開發(fā)工程師將最新的版本更新到服務(wù)器中。此時產(chǎn)品經(jīng)理要找到該指標的負責(zé)人，令其長期跟進指標的準確性。對于重要的指標，每過一個周期還要再次進行內(nèi)部驗證，從而保證數(shù)據(jù)的準確性。

（11）迭代。數(shù)據(jù)指標上線后，隨著公司業(yè)務(wù)的變化，指標的口徑可能也會有所變動，所以也要定期盤點已有的指標，如果指標有變化，需要不斷迭代，保證指標的準確性。