2.1 Hadoop簡介

中國進入大數據風起云涌的時代，而以Hadoop為代表的一系列軟件占據大數據處理的地盤。Hadoop也從小眾領域，變成了大數據開發的標準之一，甚至在Hadoop原有技術基礎之上，出現了Hadoop家族產品。Hadoop在大數據技術體系中的地位至關重要，可以說Hadoop是大數據技術的基礎，要想在大數據技術道路上越走越遠，必須扎實掌握Hadoop基礎知識。

Hadoop是一個由Apache基金會所開發的分布式系統基礎架構。用戶可以在不了解分布式底層細節的情況下，開發分布式程序，能夠十分便利地利用集群的強大能力進行程序運算，解決高可用問題。

Hadoop框架最核心的設計就是：HDFS和MapReduce。Hadoop實現了一個分布式文件系統（Hadoop Distributed File System，HDFS）。HDFS有高容錯性特點，并且設計用來部署在低廉的硬件上。它為海量的數據提供了存儲，而MapReduce為海量的數據提供了計算。