1.2.3 數據處理有困境

前兩小節提到的問題都屬于數據來源的問題，而大數據除了數據來源存在困境，其數據處理過程在現在也存在困境，主要可以從企業和技術兩個大方面進行討論。

在企業方面，數據處理的概念更加傾向于是對數據進行控制。企業需要控制對數據的訪問權，也需要知道數據的來源和去向、數據的動態情況、數據是否已被修改、數據的處理方式及相關決策等，因此企業對大數據的掌控能力就顯得十分重要。在企業應用方面，大數據的處理困境主要有以下三個具體表現，如圖1-6所示。

1．缺乏大數據分析技能

一家零售公司的首席執行官曾讓CIO構建一個客戶推薦引擎，希望實現對用戶的個性化推薦。但是由于數據分析技能的缺乏，該項目并不能按照預期的計劃那樣在半年內完成，因此，團隊成員提出了做一個“假的推薦引擎”：默認所有人都會買床單，給不論買了什么的用戶都推薦床單用品。

盡管不能否認這款引擎確實帶動了企業的銷售額，但是實際上它并未實現真正意義上的大數據處理下的個性化推薦，而這正是由于其對大數據分析技能的缺失導致的。

2．問題梳理不夠全面

對問題的考慮不夠全面也是企業在進行大數據處理應用上常犯的錯誤，許多公司考慮了大數據應用場景的各個方面，卻忘記考慮意外發生時的處理辦法。例如曾有一家跨國公司的大數據團隊經過研究發現了很多值得應用的成果，并且計劃通過云平臺把這些成果讓全公司共享。結果由于團隊沒有考慮網絡堵塞的問題，全球各個分部無法順暢提交數據進行數據分析，實際應用受限。

因為網絡基礎設施的故障導致大數據項目失敗的案例不勝枚舉，這給企業在進行大數據分析應用時帶來了不小的挑戰。

3．低估大數據復雜程度

還有的企業希望能夠通過大數據分析建立一個完美的模型能夠統一解決所有問題，實際上這是大大低估了大數據復雜程度的做法。

在美國曾有幾個互聯網金融公司專門做中小企業貸款的金融業務，由于中小企業貸款涉及的數據更復雜，且行業數據在金融業都是比較特殊的類別，根據不同的情況，合同的類型和報表標準都不同，這給互聯網公司的工作人員帶來了很多專業上的問題。

大數據團隊希望利用大數據分析建立一個全能的數據模型解決所有問題，但由于數據的復雜程度過高，大數據團隊不僅沒能成功建立預想的數據模型，反而花了大量的時間去清理所收集到的數據。其他類似的例子還有許多，都反映了企業因低估大數據的復雜程度帶來的數據處理難題。

除了在企業方面的數據處理困境，大數據在技術上也遇到了瓶頸。目前大數據的處理平臺以Hadoop為主，但由于其體系缺乏多租戶支持、多用戶數據安全性能不夠高、數據兼容困難等原因，很難成為公共云服務。因此實現大數據處理平臺的更新也成為了大數據處理的重要問題。

無論是從企業在大數據的分析應用方面，還是從大數據行業的技術突破方面來看，大數據在數據處理上都確實遇到了不小的困境，需要新的思維方式和技術手段幫助創新。