數據部門如何All In AI

作者 丁香園資深數據架構 祝威廉

 

大數據部門的常見能力如下：

? 報表統計

? 算力/存儲輸出

? 推薦/搜索/精準營銷等傳統產品形態

通常，大數據部門會花費很大的力氣構建數據平臺，而這個數據平臺除了能讓研發、算法、分析師等角色爽一些，從宏觀角度很大地地節省部門人力成本、提高效率以外，似乎對公司/其他業務部門并無直接輸出。這也是很多大數據部門領導非常焦慮的地方。

那么出路在哪里呢？

All In AI

事實上，真正能幫助業務提高效能、提供創新產品的必然是AI。AI是一種模式的輸出，其價值點，第一個是可以給業務每個環節賦能，比如反垃圾可以減少審核同學的工作量，智能邀請可以減輕運營同學的工作壓力；第二個是創新產品，高一點的有比較常見有無人駕駛、智能語音產品、醫療診斷等，低一點的，則可能是某個具體的功能模塊對外輸出，比如知識圖譜。

從上面我們可以看到，數據部門的最大價值，最終會通過AI來落地，并且還會給部門/公司提供極為豐富的想象空間。

如何All In AI？

對于這件事情，我們要仔細研究一個核心的東西：資源。

資源我們又分為：

? 平臺資源，如果你還在刀耕火種階段做開發、做算法，那么咱也別談什么All in AI了。

? 人力資源，一場大型戰爭，核心還是在于看能動員的人力資源，面對海量需求，你是否有足夠的人力去應付？

? 組織資源，合理的組織是能夠極大地地釋放生產力的。

經過這么多年的發展，平臺已經很成熟了。我們知道，AI平臺是基于數據平臺的之上的，其結構是一個金字塔形狀的。所以第一步你需要有一個良好的數據平臺，其次你還需要有一個AI平臺，讓單一算法落地變得容易。

人力資源的問題是個大問題，算法團隊再大，也就是大數據部門一個子部門/組。如何在保持現有成本的情況下，擴大人力呢？ AI平臺對單一算法（后面我會解釋什么是單一算法）問題是非常友好的，可能一個普通的工程師（甚至運營、分析師）都可以完成的。這樣，部門所有的人都具備了成為AI人力的潛能。我們通過一定的培訓和鍛煉，可以使得研發、分析等都具備成為AI人才的潛力。需要的時候，我們提純下即可。

回過頭來看看，什么是單一算法。所謂單一算法就是具體的某個算法問題，比如對于帖子的情感分類，就是一個標準的文本分類問題。通常一個足夠細化的問題，我們可以很容易將其轉化為一個分類、回歸、排序、規則類算法問題。現階段，按我的了解，AI平臺通常只能做到針對單一算法的自助化。那么為了讓組織更加合理高效，重構數據部門團隊就很有必要了。

算法部門需要切分成三個子團隊，一個是偏研究性質的，一個是偏業務性質的，還有一個則是AI平臺和工具團隊。

業務性質的團隊常常需要用到研究性質團隊的副產品以及基于AI平臺和工具團隊的產品之上進行工作，同時向他們反饋自己的訴求和問題。

業務算法團隊通常也需要分成兩個層級，一個是解決方案設計者，該角色是將一個實際的業務問題分拆成N個算法和工程問題；；一個是算法實施者，該角色只針對單一算法問題，可以在AI平臺上很快地地解決對應問題。

研究性質的團隊可以分成三個部分，一個是讀Paper，試圖將學術論文轉化為工業實踐；一個是算法基礎構建，維護比如知識圖譜這種非常底層的系統；一個是創新產品，目標是利用現有的算法抽象出新產品。

通過如上方法，有了很好的平臺能力，很好的人員基礎，加上合理的組織，All In AI或許變得可能。

總結

本文我們說了為什么要All In AI，要實現All In AI不僅僅需要有一個好的平臺（數據、算法平臺），也需要有良好的動員人力資源的能力，采用一個合理的算法組織架構充分利用人力資源。尤其是業務算法團隊里的“解決方案設計者”，該角色能夠將一個實際的業務問題分拆成N個算法和工程問題，是AI落地非常非常重要的一個角色。