第5節 電商數據分析體系的架構

5.1 企業數據相關的架構及職能

1．一般職能

營銷：核心是品牌、流量，包含SEM、AD、聯盟、新媒體、EDM、SEO等。

運營：核心是日常（網站）運維管理，包括網站、商品、資源位、內部活動管理，甚至包括會員、采銷、物流等。

采購：核心是商品采購，一般以品類劃分。

銷售：核心是商品銷售，一般以品類劃分，有時與采購合并。

物流：核心是物流配送，主要是商品進、銷。

倉儲：核心是商品庫存管理，倉儲通常與物流合并成進銷存體系。客服：核心是客戶服務和維系，包括客戶維系、咨詢、服務、關懷。

2．系統運維

·核心：維護數據系統，保證數據系統正常運行。

·維護流量系統，保證系統正確部署、實施和數據收集。

·提供系統部署方案，配合技術方案實施和測試。

·提供系統后臺和數據報表配置，制訂日常發送計劃。

·系統部署和配置，保證數據正確輸出。

3．數據架構

·核心：數據系統架構規劃，數據標準和規范化。

·大數據體系規劃，支撐大數據集成、建模、挖掘和產品體系。

·負責構建公司元數據管理系統和數據質量管理體系。

·模型的定義和數據標準的定義（詞匯、術語、主題域、接口等）。

·重大數據項目評估和審核。

4．數據管理

·核心：數據的存儲維護，保證數據的安全性、可用性。

·數據倉庫維護和管理，包括安裝、配置、遷移、升級、備份。

·數據庫性能優化、應急處理，建立數據管理體系和工作機制。

·數據倉庫開發，構建數據集市和數據底層架構。

·數據校驗、數據權限管理、日常數據輸出。

5．數據產品

·核心：數據產品開發和應用支持。

·梳理數據產品需求，優化報表和規劃新報表及數據產品。

·根據產品需求，協調開發資源，保障項目按時上線。

·協助數據分析和挖掘部門，進行數據模型產品化輸出。

·在大數據基礎上商業智能實現邏輯規劃，輔助技術開發和測試。

6．數據分析

·核心：業務方向數據分析支持。

·業務活動效果評估，如渠道畫像、會員活躍度。

·業務活動異常分析支持，如異常訂單、惡意流量、惡意點擊。

·業務效果標桿管理與預警機制，如流量預測、庫存預測。

·業務內在價值挖掘與提煉，如渠道訂單歸因、用戶生命周期。

·業務活動規則支持與輔助決策，如營銷活動人群規則、廣告定向。

7．數據挖掘

·核心：面向產品的挖掘規則及部分業務支持。

·負責BI實施中的數據挖掘模塊算法研究，模型建立和優化。

·負責數據挖掘模型建立與維護，如關聯模型、決策規則模型。

·負責個性化推薦模塊算法研究及推薦效果優化。

·負責大數據下傳統機器學習算法的并行化實現及應用，提出改進方法及思路。

8．市場戰略

·核心：提高對行業和競爭對手的認知，增加對公司戰略的支持。

·根據公司戰略方向，制定中長期發展規劃。

·根據公司規劃，協助各中心制定戰略研究規劃并進行課題跟蹤。

·搜集行業信息，捕捉行業發展新機會，為高層提供戰略建議。

·建立競爭對手檔案庫，全面把控競爭對手動態。

·把握用戶脈搏，掌控用戶新需求、新想法、新途徑等信息。

5.2 企業數據業務工作流程

電商企業數據業務工作流程如圖1-5-1所示。

1．數據采集

·企業內部數據采集來源于各個業務生產系統，包括CRM數據、CC（呼叫中心）數據、財務數據、倉儲數據、門店數據、銷售數據、OA數據、物流數據、網站數據。

·企業外部數據是指數據由企業外部產生，企業通過合作、購買、采集等形式獲得。企業外部數據通常包括競爭數據、營銷數據、物流數據、行業數據等。

2．數據存儲

·數據存儲層是在數據源的基礎上，通過ETL進行數據整合，形成供上層計算或業務使用的數據倉庫及數據集市。

·數據倉庫面向業務決策或上層數據應用，是一個面向主題的、集成的、相對穩定的、反映歷史數據變化的數據集合。

3．數據計算

·數據挖掘按照不同的實現結果方向可分為回歸模型、聚類模型、關聯模型、時間序列、分類模型和機器學習等。

·數據計算按照計算結果輸出的時間性可分為實時計算和離線計算，部分企業還會在實時計算和離線計算之間加入臨時計算。

·數據計算模塊對于大多數中小企業來說沒有必要單獨拆分，原因是在較小的數據體量和應用需求下，完全可以通過數據實時計算獲得結果。數據計算模塊只對大中型企業或具備海量數據處理需求的企業有存在意義。

4．數據管理

·數據管理層是介于數據和應用之間的介質和橋梁，通常上層自動應用或產品化的所需數據直接由數據計算層調用。對大多數企業而言，數據管理層的功能定位是用戶和數據管理。

·數據管理層通過數據管理平臺DMP（Data Manage Platform）實現，但現在大多數的DMP產品仍集中應用在底層數據整合和抽取等工作上，尚未上升到管理數據層面。

5．數據應用

·輔助決策應用是目前數據發揮價值的主流方式，包括自動化營銷、站內個性化推薦、數據產品化報表等。

·數據驅動需要借助技術手段實現，通常是建立在數據事件觸發或數據結果觸發基礎上的自動化運行機制。常見的數據驅動項目包括RTB、個性化EDM、站內個性化推薦、個性化著陸頁、網站智能運營、基于用戶事件或時間的維系觸發等。