總序

短短幾年間，大數據就以一日千里的發展速度，快速實現了從概念到落地，直接帶動了相關產業井噴式發展。全球多家研究機構統計數據顯示，大數據產業將迎來發展黃金期：IDC預計，大數據和分析市場將從2016年的1300億美元增長到2020年的2030億美元以上；中國報告大廳發布的大數據行業報告數據也說明，自2017年起，我國大數據產業迎來發展黃金期，未來2～3年的市場規模增長率將保持在35%左右。

數據采集、數據存儲、數據挖掘、數據分析等大數據技術在越來越多的行業中得到應用，隨之而來的就是大數據人才問題的凸顯。麥肯錫預測，每年數據科學專業的應屆畢業生將增加7%，然而僅高質量項目對于專業數據科學家的需求每年就會增加12%，完全供不應求。根據《人民日報》的報道，未來3～5年，中國需要180萬數據人才，但目前只有約30萬人，人才缺口近150萬人。

以貴州大學為例，其首屆大數據專業研究生就業率就達到100%，可以說被“一搶而空”。急切的人才需求直接催熱了大數據專業，教育部正式設立“數據科學與大數據技術”本科專業。目前已經有三批共計283所大學獲批，包括北京大學、中南大學、對外經濟貿易大學、中國人民大學、北京郵電大學、復旦大學等。

不過，就目前而言，在大數據人才培養和大數據課程建設方面，大部分高校仍然處于起步階段，需要探索的問題還有很多。首先，大數據是個新生事物，懂大數據的老師少之又少，院校缺“人”；其次，尚未形成完善的大數據人才培養和課程體系，院校缺“機制”；再次，開展大數據實驗需要為每位學生提供集群計算機，院校缺“機器”；最后，院校沒有海量數據，開展大數據教學科研工作缺少“原材料”。

其實，早在網格計算和云計算興起時，我國科技工作者就曾遇到過類似的挑戰，我有幸參與了這些問題的解決過程。為了解決網格計算問題，我在清華大學讀博期間，于2001 年創辦了中國網格信息中轉站網站，每天花幾個小時收集和分享有價值的資料給學術界，此后我也多次籌辦和主持全國性的網格計算學術會議，進行信息傳遞與知識分享。2002年，我與其他專家合作完成的《網格計算》教材也正式面世。

2008年，當云計算開始萌芽之時，我創辦了中國云計算網站（chinacloud.cn）（在各大搜索引擎“云計算”關鍵詞搜索結果中排名前列），2010年出版了《云計算》（第1版）、2011年出版了《云計算》（第2版）、2015年出版了《云計算》（第3版），每一版都花費了大量成本制作并免費分享對應的幾十個教學PPT。目前，這些PPT的下載總量達到了幾百萬次。同時，《云計算》一書也成為國內高校的首選教材。在CNKI公布的高被引圖書名單中，《云計算》（第1版）在自動化和計算機領域排名全國第一（統計了2010年后出版的所有圖書）。除了資料分享，2010 年我也在南京組織了全國高校云計算師資培訓班，培養了國內第一批云計算老師，并通過與華為、中興、360等知名企業合作，輸出云計算技術，培養云計算研發人才。這些工作獲得了大家的認可與好評，此后我接連擔任了工信部云計算研究中心專家、中國云計算專家委員會云存儲組組長等職務。

近幾年，面對日益突出的大數據發展難題，我也在嘗試使用此前類似的辦法去應對這些挑戰。為了解決大數據技術資料缺乏和交流不夠通透的問題，我于2013年創辦了中國大數據網站（thebigdata.cn），投入大量的人力進行日常維護；為了解決大數據師資匱乏的問題，我面向全國院校陸續舉辦多期大數據師資培訓班。從2016年年底起，我在南京多次舉辦全國高校/高職/中職大數據免費培訓班，基于《大數據》《大數據實驗手冊》及云創大數據提供的大數據實驗平臺，幫助到場老師們跑通了 Hadoop、Spark 等多個大數據實驗，使他們跨過了“從理論到實踐，從知道到用過”的門檻。2017年5月，我還舉辦了全國千所高校大數據師資免費講習班，盛況空前。

其中，為了解決大數據實驗難的問題而開發的大數據實驗平臺，正在為越來越多高校的教學科研帶去方便：我帶領云創大數據（www.cstor.cn，股票代碼：835305）的科研人員，應用Docker容器技術，成功開發了BDRack大數據實驗一體機，打破了虛擬化技術的性能瓶頸，可以為每位參加實驗的人員虛擬出 Hadoop 集群、Spark 集群、Storm 集群等，自帶實驗所需數據，并準備了詳細的實驗手冊（包含 42 個大數據實驗）、PPT 和實驗過程視頻，可以開展大數據管理、大數據挖掘等各類實驗，并可以進行精確營銷、信用分析等多種實戰演練。目前，大數據實驗平臺已經在鄭州大學、成都理工大學、金陵科技學院、天津農學院、西京學院、鄭州升達經貿管理學院、信陽師范學院、鎮江高等職業技術學校等多所院校成功應用，并廣受校方好評。該平臺也可在線使用（http：//bd.cstor.cn），幫助師生通過自學，用一個月左右成為大數據實驗動手的高手。此外，面對席卷而來的人工智能浪潮，我所在團隊推出的AIRack人工智能實驗平臺、DeepRack深度學習一體機及dServer人工智能服務器等系列應用，一舉解決了人工智能實驗環境搭建困難、缺乏實驗指導與實驗數據等問題，目前已經在清華大學、南京大學、南京農業大學、西安科技大學等高校投入使用。

同時，為了解決缺乏權威大數據教材的問題，我所負責的南京大數據研究院，聯合金陵科技學院、河南大學、云創大數據、中國地震局等多家單位，歷時兩年，編著出版了適合本科教學的《大數據》《大數據庫》《大數據實驗手冊》《數據挖掘》《大數據可視化》《深度學習》等教材。在大數據教學中，本科院校的實踐教學應更具系統性，偏向新技術的應用，且對工程實踐能力要求更高；而高職高專院校則更偏向于技術性和技能訓練，理論以夠用為主，學生將主要從事數據清洗和運維方面的工作。基于此，我還聯合多家高職院校專家準備了《云計算導論》《大數據導論》《數據挖掘基礎》《R 語言》《數據清洗》《大數據系統運維》《大數據實踐》系列教材。

此外，這些圖書的配套PPT和其他資料也繼續在中國大數據（thebigdata.cn）和中國云計算（chinacloud.cn）等網站免費提供。同時，大數據實驗平臺（http：//bd.cstor.cn）、免費的物聯網大數據托管平臺萬物云（wanwuyun.com）和環境大數據免費分享平臺環境云（envicloud.cn）將持續開放，使資源與數據隨手可得，讓大數據學習變得更加輕松。

在此，特別感謝我的碩士生導師謝希仁教授和博士導師李三立院士。謝希仁教授所著的《計算機網絡》已經更新到第 7 版，與時俱進且日臻完善，時時提醒學生要以這樣的標準來寫書。李三立院士是留蘇博士，為我國計算機事業做出了杰出貢獻，曾任國家攀登計劃項目首席科學家。他嚴謹治學，帶出了一大批杰出的學生。

本叢書是集體智慧的結晶，在此謹向付出辛勤勞動的各位作者致敬！書中難免會有不當之處，請讀者不吝賜教。我的郵箱：gloud@126.com，微信公眾號：劉鵬看未來（lpoutlook）。

劉鵬

于南京大數據研究院