理論篇

第一章
大數(shù)據(jù)概述

一、大數(shù)據(jù)概括

當(dāng)前，以大數(shù)據(jù)、云計(jì)算、移動(dòng)互聯(lián)網(wǎng)等為代表的新一輪科技革命席卷全球，正在構(gòu)筑信息互通、資源共享、能力協(xié)同、開放合作的新體系，極大地?cái)U(kuò)展了各行業(yè)的創(chuàng)新與發(fā)展空間。大數(shù)據(jù)技術(shù)的發(fā)展驅(qū)動(dòng)傳統(tǒng)行業(yè)邁向轉(zhuǎn)型升級(jí)的新階段——數(shù)據(jù)驅(qū)動(dòng)的新階段，這是新的技術(shù)條件下生產(chǎn)全流程、全產(chǎn)業(yè)鏈、產(chǎn)品全生命周期的數(shù)據(jù)可獲取、可分析、可執(zhí)行的必然結(jié)果，也是傳統(tǒng)行業(yè)隱性知識(shí)顯性化不斷取得突破的內(nèi)在要求。習(xí)近平總書記強(qiáng)調(diào)，“大數(shù)據(jù)發(fā)展日新月異，我們應(yīng)該審時(shí)度勢、精心謀劃、超前布局、力爭主動(dòng)，深入了解大數(shù)據(jù)發(fā)展現(xiàn)狀和趨勢及其對(duì)經(jīng)濟(jì)社會(huì)發(fā)展的影響，分析我國大數(shù)據(jù)發(fā)展所取得的成績和存在的問題，推動(dòng)實(shí)施國家大數(shù)據(jù)戰(zhàn)略，加快完善數(shù)字基礎(chǔ)設(shè)置，推進(jìn)數(shù)據(jù)資源整合和開放共享，保障數(shù)據(jù)安全，加快建設(shè)數(shù)字中國，更好服務(wù)我國社會(huì)經(jīng)濟(jì)發(fā)展和人民生活改善”。習(xí)總書記這段話深刻闡釋了以大數(shù)據(jù)為代表的新一代信息技術(shù)融合創(chuàng)新技術(shù)推動(dòng)數(shù)字經(jīng)濟(jì)、實(shí)體經(jīng)濟(jì)轉(zhuǎn)型升級(jí)的發(fā)展方向，也充分體現(xiàn)了大數(shù)據(jù)作為一種新的資產(chǎn)、資源和生產(chǎn)要素，在社會(huì)經(jīng)濟(jì)生活創(chuàng)新發(fā)展中的重要作用。

那么什么是大數(shù)據(jù)？從2001年“大數(shù)據(jù)”一詞在Gartner的研究報(bào)告出現(xiàn)至今，業(yè)內(nèi)對(duì)“大數(shù)據(jù)”一詞的定義仍未統(tǒng)一。Gartner給出了這樣的定義，“大數(shù)據(jù)”是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。麥肯錫全球研究所對(duì)“大數(shù)據(jù)”給出的定義是：一種規(guī)模大到在獲取、存儲(chǔ)、管理、分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫軟件工具能力范圍的數(shù)據(jù)集合，具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉(zhuǎn)、多樣的數(shù)據(jù)類型和價(jià)值密度低四大特征。國際數(shù)據(jù)公司（IDC）從大數(shù)據(jù)的4個(gè)特征來定義，即海量的數(shù)據(jù)規(guī)模（Volume）、快速的數(shù)據(jù)流轉(zhuǎn)和動(dòng)態(tài)的數(shù)據(jù)體系（Velocity）、多樣的數(shù)據(jù)類型（Variety）、巨大的數(shù)據(jù)價(jià)值（Value）。維基百科對(duì)“大數(shù)據(jù)”的定義是“無法在可承受的時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合”。

大數(shù)據(jù)是一個(gè)寬泛的概念，見仁見智。上面幾個(gè)定義，無一例外地都突出了“大”字。誠然，“大”是大數(shù)據(jù)的一個(gè)重要特征，但遠(yuǎn)遠(yuǎn)不是全部。認(rèn)識(shí)大數(shù)據(jù)，要把握“數(shù)據(jù)源、大數(shù)據(jù)硬件、大數(shù)據(jù)技術(shù)、大數(shù)據(jù)交易、大數(shù)據(jù)應(yīng)用及衍生”等六個(gè)層次。大數(shù)據(jù)是具有體量大、結(jié)構(gòu)多樣、時(shí)效強(qiáng)等特征的數(shù)據(jù)；處理大數(shù)據(jù)需采用新型計(jì)算架構(gòu)和智能算法等新技術(shù)；大數(shù)據(jù)的交易需要對(duì)數(shù)據(jù)脫敏、定價(jià)，大數(shù)據(jù)的應(yīng)用強(qiáng)調(diào)以新的理念應(yīng)用于輔助決策、發(fā)現(xiàn)新的知識(shí)，更強(qiáng)調(diào)在線閉環(huán)的業(yè)務(wù)流程優(yōu)化。因此說，大數(shù)據(jù)不僅“大”，而且“新”，是新資源、新工具和新應(yīng)用的綜合體。