理論篇

第一章
大數據概述

一、大數據概括

當前，以大數據、云計算、移動互聯網等為代表的新一輪科技革命席卷全球，正在構筑信息互通、資源共享、能力協同、開放合作的新體系，極大地擴展了各行業的創新與發展空間。大數據技術的發展驅動傳統行業邁向轉型升級的新階段——數據驅動的新階段，這是新的技術條件下生產全流程、全產業鏈、產品全生命周期的數據可獲取、可分析、可執行的必然結果，也是傳統行業隱性知識顯性化不斷取得突破的內在要求。習近平總書記強調，“大數據發展日新月異，我們應該審時度勢、精心謀劃、超前布局、力爭主動，深入了解大數據發展現狀和趨勢及其對經濟社會發展的影響，分析我國大數據發展所取得的成績和存在的問題，推動實施國家大數據戰略，加快完善數字基礎設置，推進數據資源整合和開放共享，保障數據安全，加快建設數字中國，更好服務我國社會經濟發展和人民生活改善”。習總書記這段話深刻闡釋了以大數據為代表的新一代信息技術融合創新技術推動數字經濟、實體經濟轉型升級的發展方向，也充分體現了大數據作為一種新的資產、資源和生產要素，在社會經濟生活創新發展中的重要作用。

那么什么是大數據？從2001年“大數據”一詞在Gartner的研究報告出現至今，業內對“大數據”一詞的定義仍未統一。Gartner給出了這樣的定義，“大數據”是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。麥肯錫全球研究所對“大數據”給出的定義是：一種規模大到在獲取、存儲、管理、分析方面大大超出了傳統數據庫軟件工具能力范圍的數據集合，具有海量的數據規模、快速的數據流轉、多樣的數據類型和價值密度低四大特征。國際數據公司（IDC）從大數據的4個特征來定義，即海量的數據規模（Volume）、快速的數據流轉和動態的數據體系（Velocity）、多樣的數據類型（Variety）、巨大的數據價值（Value）。維基百科對“大數據”的定義是“無法在可承受的時間范圍內用常規軟件工具進行捕捉、管理和處理的數據集合”。

大數據是一個寬泛的概念，見仁見智。上面幾個定義，無一例外地都突出了“大”字。誠然，“大”是大數據的一個重要特征，但遠遠不是全部。認識大數據，要把握“數據源、大數據硬件、大數據技術、大數據交易、大數據應用及衍生”等六個層次。大數據是具有體量大、結構多樣、時效強等特征的數據；處理大數據需采用新型計算架構和智能算法等新技術；大數據的交易需要對數據脫敏、定價，大數據的應用強調以新的理念應用于輔助決策、發現新的知識，更強調在線閉環的業務流程優化。因此說，大數據不僅“大”，而且“新”，是新資源、新工具和新應用的綜合體。