官术网_书友最值得收藏!

1.5 大數據關鍵技術

當人們談到大數據時,往往并非僅指數據本身,而是數據和大數據技術這二者的綜合。所謂大數據技術,是指伴隨著大數據的采集、存儲、分析和應用的相關技術,是一系列使用非傳統的工具來對大量的結構化、半結構化和非結構化數據進行處理,從而獲得分析和預測結果的一系列數據處理和分析技術。

討論大數據技術時,需要首先了解大數據的基本處理流程,主要包括數據采集、存儲、分析和結果呈現等環節。數據無處不在,互聯網網站、政務系統、零售系統、辦公系統、自動化生產系統、監控攝像頭、傳感器等,每時每刻都在不斷產生數據。這些分散在各處的數據,需要采用相應的設備或軟件進行采集。采集到的數據通常無法直接用于后續的數據分析,因為對于來源眾多、類型多樣的數據而言,數據缺失和語義模糊等問題是不可避免的,因而必須采取相應措施有效解決這些問題,這就需要一個被稱為“數據預處理”的過程,把數據變成一個可用的狀態。數據經過預處理以后,會被存放到文件系統或數據庫系統中進行存儲與管理,然后采用數據挖掘工具對數據進行處理分析,最后采用可視化工具為用戶呈現結果。在整個數據處理過程中,還必須注意隱私保護和數據安全問題。

因此,從數據分析全流程的角度,大數據技術主要包括數據采集與預處理、數據存儲和管理、數據處理與分析、數據安全和隱私保護等幾個層面的內容,具體見表1-5。

表1-5 大數據技術的不同層面及其功能

需要指出的是,大數據技術是許多技術的一個集合體,這些技術也并非全部都是新生事物,諸如關系數據庫、數據倉庫、數據采集、ETL、OLAP、數據挖掘、數據隱私和安全、數據可視化等技術是已經發展多年的技術,在大數據時代得到不斷補充、完善、提高后又有了新的升華,也可以視為大數據技術的一個組成部分。對于這些技術,除了數據可視化技術以外,我們將不做介紹,本書重點闡述近些年新發展起來的大數據核心技術,包括分布式并行編程、分布式文件系統、分布式數據庫、NoSQL數據庫、云數據庫、流計算、圖計算等。

主站蜘蛛池模板: 岑巩县| 鄂尔多斯市| 淮南市| 神农架林区| 淳安县| 岳池县| 涟水县| 塘沽区| 静乐县| 长沙县| 江津市| 洞口县| 上林县| 县级市| 巴林右旗| 海原县| 福泉市| 元氏县| 内黄县| 容城县| 西畴县| 南靖县| 阳曲县| 沈丘县| 嘉禾县| 柳河县| 镇赉县| 久治县| 海宁市| 比如县| 泽州县| 康定县| 神木县| 青川县| 望江县| 大余县| 邵东县| 镇巴县| 辽中县| 南江县| 都兰县|