1.4　大數據相關技術

近年來，大數據相關技術和應用引起了越來越多研究人員和商業人士的關注。人工智能、云技術、移動網絡和物聯網等基礎技術的發展極大地推動了大數據服務的發展。這一領域的研究主要集中在大數據服務和基礎技術服務。前者著眼于開發快速數據訪問、處理及推斷隱藏信息片段的理論、模型和方法。要實現這一切，后者（基于人工智能等的基礎技術服務）必須提供主干和支撐力量。互聯網的迅速普及，各國政府對基于大數據的政策引導，以及企業家們對大數據本身價值的熱切渴望，都有力地激發了人們對大數據的研究興趣。本節并不局限于大數據處理平臺相關技術（如云計算、云存儲、HDFS和數據庫等），而是沿著大數據生命周期從其來源到存儲，再到傳輸和挖掘處理，最后到應用這一過程中所涉及的各種基礎技術展開介紹。

1.4.1　物聯網技術

大數據的來源涵蓋范圍非常廣泛，物聯網是最具代表性的數據源之一。物聯網作為網絡世界中的感知基礎，它賦予人們感知的能力，隨著人類的進步，這種感知能力正在不同領域快速鋪開并蔓延。比如通過環境感知、水位感知、照明感知、交通感知、醫療感知、衛生健康感知、公共管理感知、城市管網感知、移動支付感知、無線城市門戶感知等，感知信息的范圍包括社會、經濟、政治、生活、工作、學習等方面，感知數據的形式也復雜繁多具有很強的多樣性，感知數據的規模也在持續、快速地增加。因此，物聯網從提出開始就被稱為大數據來源的重要組成部分，隨著大數據及其應用的發展，物聯網的作用也日益突出。

1.4.2　云技術

1．云存儲

隨著大數據的發展，人們對數據存儲提出了更高的要求，云存儲隨著大數據的發展應運而生，并以其大容量、高性能、低成本、易用、穩定等特征滿足了大數據的存儲需求。

當前，整個人類社會正在晝夜不息地創造著海量的數據。富媒體、數字通信、網絡等都需要不斷地采集數據。為了搞清楚在世界范圍內到底存儲了多少數據，存儲巨頭EMC做過一項名為“數字宇宙”（Digital Universal）的調查。通過資助一系列相關研究，該項目對過去十年中“數字宇宙的規模”進行了評估和報告。國際數據公司（International Data Corporation，IDC）的報告預測2020年世界范圍內產生和復制的數據總量將達到驚人的44000。數據量非常驚人，更為驚人的是它的增長速度，存儲數據總量大約每兩年就會翻一番。

IDC數字宇宙報告指出，預計到2020年，云存儲系統中通過容器（Container）管理的存儲對象，包括文件、數字圖像、數據包、記錄、信號等大約是25兆（1兆=1018）。全部數據中，云計算平臺將處理的數據超過34%，云存儲系統中以集中托管方式管理的數據將超過14%。這意味著，數字世界中的數據有很大比例已經存儲在云中，或將要存儲到云中，剩余的大部分數據也會在其使用過程中經由云系統存儲（過渡存儲）。所以在未來，云存儲市場將迎來穩定持續的增長。

云存儲系統是當今最成功的云技術應用之一。無論對于企業還是對于個人，要保證數據擁有期望的生命周期，把數據存儲在云中是最經濟可靠的選擇。根據提供給用戶的存儲接口進行歸類，云存儲分為可管理型云存儲和非可管理型云存儲。可管理型云存儲需要用戶對原生虛擬化磁盤進行配置，從而使其支持基于云存儲的應用程序。可管理型云存儲的接口支持格式化、分區、復制數據和其他配置選項。基于可管理型云存儲的應用程序提供基礎設施即服務類型的Web服務。非可管理型云存儲呈現給用戶的邏輯抽象是一個可以立即使用的磁盤驅動器，但對于磁盤驅動器以何種模式工作，用戶并沒有被賦予足夠的控制權。大多數面向用戶的云存儲應用屬于非可管理型，如文件備份、共享等云存儲應用。非可管理型云存儲應用程序提供軟件即服務類型的Web服務。

2．云計算

云計算是支撐大數據環境及其應用的基礎平臺，大數據應用作為一個復雜綜合體在構建中具有應用復雜多樣、行業繁多、需求異構等特征。多個應用與系統之間需要進行信息的共享和傳輸，不同的應用也需要共同抽取數據綜合計算和呈現綜合結果。眾多繁復的系統需要多個強大的信息處理中心進行各種信息的處理。

要從根本上支撐龐大系統的安全運行，需要考慮基于云計算的網絡架構建設面向大數據挖掘的云計算數據中心。在滿足上述需求的同時，云計算數據中心還具備傳統數據中心（往往是面向特定應用系統或者應用領域建設的）無法比擬的其他優勢：隨需獲取的動態擴展能力和極高的性價比。大數據處理的信息系統模型整體上仍采用云計算的框架，云計算平臺主要在由服務器與存儲系統組成的物理資源池的基礎上，通過虛擬化技術生成虛擬資源池，并對虛擬資源池進行管理。云服務平臺具有大規模、低成本、高彈性和管理自動化等特征，與傳統的IT計算需求相比，其關鍵技術體現在以下兩個方面：第一，云計算提供分布式計算任務，依賴分布式文件系統和分布式存儲系統。分布式文件系統和分布式存儲系統構成整個云計算的基石，提供上層系統所需的可靠的和高效的數據存儲，滿足容錯與自動故障恢復、高效的讀寫與創建、適應網絡訪問等要求。第二，資源的動態配置與管理方法。云計算作為一種以虛擬化資源調度為核心的計算模式，全局的資源調度對于降低系統能源開銷和提高基于云的遠程資源訪問效率都非常重要。

1.4.3　移動互聯技術

在網絡化社會中，世間萬物都能夠通過相應的設備進行互聯，這將產生海量的數據，這些數據需要及時傳輸，而便捷、低成本的無線網絡是其天然選擇。因此，移動互聯網正逐漸滲透到人們生活的各個領域，作為最便捷、通用、覆蓋廣泛的技術和業務，正在深刻影響著大數據架構和應用的發展。

在過去的20年中，互聯網取得了巨大的成功。它從一個小型的學術網絡發展為一個覆蓋全球無處不在的網絡，超過14億人成為互聯網的日常用戶。這是互聯網模式的偉大力量體現，它將各種各樣的異構網絡捆綁在一起，提出基于統一資源定位器的萬維網模型、超文本傳輸協議，以及基于超文本標記語言的通用內容標記等相關技術，使上述情景成為可能。其中，草根創新是互聯網成功背后的核心驅動力。互聯網與之前的其他電信系統完全不同，它對創新是完全開放的。這使得所有互聯網參與者——從互聯網架構師到通信工程師、IT工作人員和日常用戶，都可以在本領域進行創新，從而為互聯網中新協議、服務和互聯網技術應用的迅速增加提供了可能。

移動互聯革命始于20世紀90年代的工業自動化系統。隨后，早期工業自動化中的專有網絡很快被不同形式的工業以太網取代，互聯網協議在嵌入式自動化設備和后端系統之間得到了廣泛的應用。這種趨勢在其他自動化環節中都得以延續，為此以太網和IP支持變得無處不在。機器對機器（Machine to Machine，M2M）遙測技術在21世紀早期取得突破性進展，使用蜂窩調制解調器和IP設備來監控和控制從自動售貨機到水泵的各種設備。樓宇自動化系統已經從傳統控制發展到通過樓宇自動化、控制網絡和開放式建筑物信息交換標準來實現廣泛的無線IP通信階段。近年來，自動計量基礎設施和智能電網正在以飛快的速度普及和部署，這很大程度上得益于IP技術的可擴展性和可用性。此外，移動電話成為一種廣泛使用的IP嵌入式設備，并且成為構成當前物聯網的最主要設備。

電氣和電子工程師協會在2003年發布了802.15.4低功耗無線個人區域網絡標準，這是一個重要的里程碑，其提供了全球第一個低功率無線電標準。不久之后，ZigBee聯盟開發了一種基于IEEE 802.15.4的Ad Hoc控制網絡解決方案，并對無線嵌入式技術的應用進行了大量的宣傳。垂直綁定到鏈路層和應用配置文件的ZigBee和專有網絡解決方案只解決了無線嵌入式網絡應用的一小部分問題，它們還具有可擴展性、可演化性及與互聯網集成的問題。這需要一種新的范式來實現讓具有有限處理能力的低功率無線設備（如圖1.5所示）參與到物聯網中，形成無線嵌入式互聯網。至此，移動互聯網才逐步邁向成熟。

1.4.4　人工智能技術

人工智能（Artificial Intelligence，AI）的概念最早是由McCarthy于1956年在Dartmouth學會上正式提出，幾十年過去了，人工智能仍舊是世界上主要的尖端、核心技術之一。盡管當前對于人工智能的研究已經取得了很大的進展，但對于人工智能的定義仍舊沒有完全統一，人們從不同的角度或者應用場景會得出不同的人工智能定義。其中，美國著名的人工智能研究專家尼爾遜（Nikon）教授將人工智能定義為“人工智能是關于知識的學科——怎樣表示知識及怎樣獲得知識并使用知識的學科”，而著名的美國大學MIT的Winston教授認為，“人工智能就是研究如何使計算機去做過去只有人才能做的智能的工作”。這些定義均反映了人工智能學科的基本思想和基本內容，由此可以將人工智能概括為研究人類智能活動的規律，構造具有一定智能行為的人工系統。

人工智能研究和應用領域相當廣泛，包括問題求解、邏輯推理與定理證明、自然語言理解、自動程序設計、專家系統、機器學習、神經網絡、模式識別、機器視覺、智能控制與檢索、智能調度、分布式人工智能與多代理進化計劃、知識發現、人工生命，以及近年來得到快速發展的深度學習等隨著人工智能相關模型和技術越來復雜，其所需的學習（訓練）數據量也越來越多，因為少量的數據極可能導致復雜模型的過擬合問題。另一方面，大數據龐大的數據量也急需高效人工智能技術的支撐，傳統數據處理技術往往在數據挖掘的深度和精確度方面達不到人們的需求。