第3章 分布式文件系統HDFS

大數據時代必須解決海量數據的高效存儲問題，為此，谷歌開發了分布式文件系統（Google File System，GFS），通過網絡實現文件在多臺機器上的分布式存儲，較好地滿足了大規模數據存儲的需求。Hadoop分布式文件系統（Hadoop Distributed File System，HDFS）是針對GFS的開源實現，它是 Hadoop 兩大核心組成部分之一，提供了在廉價服務器集群中進行大規模分布式文件存儲的能力。HDFS 具有很好的容錯能力，并且兼容廉價的硬件設備，因此可以以較低的成本利用現有機器實現大流量和大數據量的讀寫。

本章首先介紹分布式文件系統的基本概念、結構和設計需求，然后介紹HDFS，詳細闡述它的重要概念、體系結構、存儲原理和讀寫過程，最后介紹了一些HDFS編程實踐方面的知識。