- 大數據基礎與應用
- 趙國生 王健 宋一兵主編
- 224字
- 2021-12-15 16:00:28
2.7 本章小結
Hadoop是一個能夠讓用戶輕松架構和使用的分布式計算平臺。用戶可以輕松地在Hadoop上開發和運行處理海量數據的應用程序。它主要有以下幾個優點:高可靠性、高擴展性、高效性、高容錯性、低成本。在Hadoop中,最核心的結構是HDFS和MapReduce。
本章介紹了HDFS和MapReduce的體系結構。HDFS是一個主/從(Mater/Slave)體系結構,其中有兩類節點,一類是元數據節點NameNode,另一類是數據節點DataNode。兩類節點分別承擔Master和Worker具體任務的執行節點。MapReduce包含4個組成部分,分別為Client、Job Tracker、Task Tracker和Task,同時本章也簡單介紹了Hadoop其他的組件。