1.1 大數據產生的背景

1.信息基礎設施與大數據

信息基礎設施持續完善，包括網絡帶寬的持續增加、存儲設備性價比的不斷提升，猶如高速公路之于物流，為大數據的存儲和傳播準備了物質基礎。

如果把信息技術的不斷進步看成世界萬物持續數字化的過程，則會理出一條清晰的主線。信息科技具有三個最核心和基礎的能力：信息處理、信息存儲和信息傳遞。幾十年來，這三個能力的飛速進步是人類科技史上最為激動人心的事件之一。存儲的價格從20世紀60年代的1萬美元1MB，降到現在的1美分1GB的水平，其價差高達億倍；在線實時觀看高清電影，在幾年前還是難以想象的，現在卻變得習以為常了；網絡的接入方式也從有線連接向高速無線連接轉變。毫無疑問，網絡帶寬和大規模存儲技術的高速持續發展，為大數據時代提供了廉價的存儲和傳輸服務。因而本書假定存儲和帶寬不再是制約數據應用的因素。

2.互聯網與大數據

互聯網領域的公司最早開始重視數據資產的價值，從大數據中淘金，并且引領大數據的發展趨勢。互聯網的出現，在科技史上可以比肩“火”與“電”的發明。這個偉大的發明同樣是因為軍事目的驅動的。計算機在軍方應用得越廣泛，計算機上存儲的軍事機密就越多。人們擔心如果存儲重要軍事機密數據的主要計算機被摧毀，很可能就會輸掉整個戰爭，于是，推動計算機之間互相傳遞數據并互為備份的通信機制被提上日程。1969年11月某天的中午，6名科學家聚在加利福尼亞大學洛杉磯分校的實驗室里，把分屬于不同地區的4臺計算機互相連接起來，這就是最早的互聯網雛形。

互聯網把每個人桌面上的計算機連接起來，改變了人們的生活，成為大家獲取各類數據的首要渠道。通過互聯網獲取數據的模式可以被簡單地抽象為“請求”+“響應”的模式。用收音機聽廣播，或者用電視機看電視節目，都是“廣播”+“接收”的模式。不管有沒有電視機在接收信號，廣播塔總是在發送電視節目信號。隨時打開電視機，隨時就能收看電視節目。在“廣播”+“接收”模式中，廣播塔不知道有誰在接收節目。“請求”+“響應”模式則不同，如果客戶端（所有接入互聯網的設備、軟件等）不主動要求，服務器端就不會發送任何數據。互聯網應用協議基本上是這種模式，當然也有“廣播”+“接收”模式的協議，但是不常用。每一次訪問請求其實就是一次鼠標單擊操作，服務器的日志忠實地記錄下了每個人訪問的時間、請求的命令、訪問的網址等數據。這些訪問記錄，就像人們在雪地上行走留下的腳印一樣，腳印連成一串，構成了人們在互聯網上的“行為軌跡”。想一想獵人是怎樣通過追蹤腳印捕獲獵物的，就會明白這些“軌跡”中蘊含著的巨大價值。所以各類服務器上的日志就是一種非常重要的大數據類型。

3.云計算與大數據

云計算為大數據的集中管理和分布式訪問提供了必要的場所和分享的渠道。大數據是云計算的靈魂和必然的升級方向。

“沒有大數據的云計算，就是房地產的代名詞”，這是在某份大數據報告中曾經提到的一個觀點，該觀點引起了廣泛的關注和爭議。云計算確實可以稱為一場信息技術領域內的革命，甚至對社會也將產生革命性的影響，但是它卻不是一場技術革命，云計算在本質上是一場IT產品/服務消費方式的變革，云計算中的一個廣為宣傳的核心技術——虛擬化軟件，早在20世紀60年代就已經被應用在IBM的大型主機中了。這幾年國內各地興起了建設云計算基地的風潮，客觀上為“大數據”的發展準備了必備的存儲空間和訪問渠道。各大銀行、電信運營商、大型互聯網公司、政府各個部委都擁有了各自的“數據中心”。銀行、電信、互聯網公司絕大部分已經實現了全國級的數據集中工作。

云計算是大數據發展的前提和必要條件。沒有云計算，就缺少了集中采集數據和存儲數據的商業基礎。云計算為大數據提供了存儲空間和訪問渠道；大數據則是云計算的靈魂和必然的升級方向。

4.物聯網與大數據

物聯網與移動終端持續不斷地產生大量數據，并且數據類型豐富、內容鮮活，是大數據重要的來源。物聯網是另一個信息技術領域的熱詞，究其本質是傳感器技術進步的產物。遍布大街小巷的攝像頭，是大家可以直觀感受到的一種物聯網形態。事實上，傳感器幾乎無處不在，使用它可以監測大氣的溫度、壓強、風力，監測橋梁、礦井的安全，監測飛機、汽車的行駛狀態等。現在大家常用的智能手機中，就包括重力感應器、加速度感應器、距離感應器、光線感應器、陀螺儀、電子羅盤、攝像頭等各類傳感器。這些不同類型的傳感器，無時無刻不在產生大量的數據。其中的某些數據被持續地收集起來，成為大數據的重要來源之一。

移動智能終端的普及給大數據帶來了豐富、鮮活的數據。蘋果公司2012年公布的一組運營數據，可以反映智能終端上人們的活躍程度。其中，iMessage功能目前每秒為用戶傳遞28000條信息；iCloud已經為用戶提供了總計1億多份的文檔；GameCenter的賬號創建數達到了1.6億；iOS應用總數突破了70萬，支持iPad的應用則達到了27.5萬；蘋果App Store的應用下載量突破350億次大關，通過分成付給應用開發商的分成總額已達65億美元；iBooks中的圖書總數已達150萬冊，下載量也超過了4億。