總序

短短幾年間，大數據的發展速度一日千里，快速實現了從概念到落地的進程，直接帶動了相關產業的井噴式發展。全球研究機構統計數據顯示，大數據產業將迎來發展黃金期：根據IDC數據，2020—2024年全球大數據市場規模在五年內約實現10.4%的復合增長率，預計2024年全球大數據市場規模約為2983億美元。

數據采集、數據存儲、數據挖掘、數據分析等大數據技術在越來越多的行業中得到了應用，隨之而來的就是大數據人才問題。麥肯錫預測，每年數據科學專業的應屆畢業生將增加7%，然而僅高質量項目對專業數據科學家的需求每年就會增加12%，供不應求。根據相關報道，未來3～5年，中國需要180萬數據人才，但目前只有約30萬人，人才缺口近150萬人。

以貴州大學為例，其首屆大數據專業研究生就業率達到100%，可以說被“一搶而空”。急切的人才需求直接催熱了大數據專業，教育部正式設立“數據科學與大數據技術”本科專業。

不過，就目前而言，在大數據人才培養和大數據課程建設方面，大部分高校仍然處于起步階段，需要探索的問題還很多。首先，懂大數據的老師較少，院校缺“人”；其次，尚未形成完善的大數據人才培養和課程體系，院校缺“機制”；再次，大數據實驗需要為每個學生提供集群計算機，院校缺“機器”；最后，院校沒有海量數據，開展大數據教學科研工作缺“原材料”。

其實，早在網格計算和云計算興起時，我國科技工作者就曾遇到過類似的挑戰，我有幸參與了這些問題的解決過程。為了解決網格計算問題，我在清華大學讀博期間，于2001年創辦了中國網格信息中轉站網站，每天花幾個小時收集有價值的資料并分享給學術界，此后我也多次籌辦和主持全國性的網格計算學術會議，進行信息傳遞與知識分享。2002年，我與其他專家合作完成的《網格計算》教材也正式面世。

2008年，當云計算開始萌芽之時，我創辦了中國云計算網站（chinacloud.cn）（目前更名為“云計算世界”）；2010年，我編寫了《云計算》；2011年和2015年，我分別修訂了《云計算》第2版和第3版，對每一版都花費了大量成本制作并免費分享對應的教學PPT。目前，《云計算》一書已成為國內高校優先選擇的優秀教材。2010—2014年，該書在中國知網公布的高被引圖書名單中，位居自動化和計算機領域第一位。

除了資料分享，2010年，我們在南京組織了全國高校云計算師資培訓班，培養了國內第一批云計算老師，并通過與華為、中興、奇虎360等知名企業合作，輸出云計算技術，培養云計算研發人才。這些工作獲得了大家的認可與好評，此后我也擔任了工業和信息化部云計算研究中心專家、中國云計算專家委員會云存儲組組長、第45屆世界技能大賽中國區云計算選拔賽裁判長/專家指導組組長、中國信息協會教育分會人工智能教育專家委員會主任、教育部全國普通高校畢業生就業創業指導委員會委員等。

近年來，面對日益突出的大數據發展難題，我們也正在嘗試使用此前類似的辦法應對這些挑戰。為了解決大數據技術資料缺乏和交流不夠通透的問題，我于2013年創辦了中國大數據網站（thebigdata.cn）（目前更名為“大數據世界”），投入了大量的人力進行日常維護。

為了解決大數據師資匱乏的問題，我們面向全國院校陸續舉辦多期大數據師資培訓班，致力于解決“缺人”的問題。至今，我們已舉辦上百場線上線下培訓，并入選“教育部第四批職業教育培訓評價組織”，被教育部學校規劃建設發展中心認定為“大數據與人工智能智慧學習工場”，被工業和信息化部教育與考試中心授權為“工業和信息化人才培養工程培訓基地”。

此外，我們開發的云計算、大數據、人工智能實驗實訓平臺被多個賽事選為競賽平臺，也為越來越多的高校教學科研帶去便捷。其中，大數據實驗平臺致力于幫助解決大數據實驗“缺機器”與“缺原材料”的問題。2016年，我帶領“云創大數據”的研發人員應用Docker容器技術，成功開發了BDRack大數據實驗一體機，它打破了虛擬化技術的性能瓶頸，可虛擬出Hadoop集群、Spark集群、Storm集群等，自帶實驗所需數據，并配備了詳細的實驗手冊、PPT和實驗過程視頻，可開展大數據管理、大數據挖掘等各類實驗，并可進行精確營銷、信用分析等多種實戰演練。

在大數據教學中，本科院校的實踐教學應更具系統性，偏向新技術應用，且對工程實踐能力要求更高；而高職高專院校更偏向技術性和技能訓練，理論以夠用為主，學生將主要從事數據清洗和運維方面的工作。基于此，我們聯合多所院校的專家有針對性地準備了“高級大數據人才培養叢書”和“大數據應用人才培養叢書”兩套大數據教材，幫助解決“機制”欠缺的問題。

此外，與教材配套的PPT和其他資料也將繼續在“大數據世界”和“云計算世界”等網站免費提供。同時，智能硬件大數據免費托管平臺——萬物云（wanwuyun.com）和環境大數據開放平臺——環境云（envicloud.cn），使資源與數據唾手可得，讓大數據學習變得更加輕松。

在此，特別感謝我的碩士生導師謝希仁教授和博士生導師李三立院士。謝希仁教授所著的《計算機網絡》已經更新到第8版，與時俱進且日臻完善，時時提醒學生要以這樣的標準來寫書。李三立院士是留蘇博士，為我國計算機事業做出了杰出貢獻，曾任國家攀登計劃項目首席科學家。他嚴謹治學，帶出了一大批杰出的學生。

本叢書是集體智慧的結晶，在此謹向付出辛勤勞動的各位作者致敬！書中難免會有不當之處，請讀者不吝賜教。

我的郵箱：gloud＠126.com。

微信公眾號：劉鵬看未來（lpoutlook）。

劉鵬

2023年5月