第3章 分布式文件系統(tǒng)HDFS

大數(shù)據(jù)時(shí)代必須解決海量數(shù)據(jù)的高效存儲問題，為此，谷歌開發(fā)了分布式文件系統(tǒng)（Google File System，GFS），通過網(wǎng)絡(luò)實(shí)現(xiàn)文件在多臺機(jī)器上的分布式存儲，較好地滿足了大規(guī)模數(shù)據(jù)存儲的需求。Hadoop分布式文件系統(tǒng)（Hadoop Distributed File System，HDFS）是針對GFS的開源實(shí)現(xiàn)，它是 Hadoop 兩大核心組成部分之一，提供了在廉價(jià)服務(wù)器集群中進(jìn)行大規(guī)模分布式文件存儲的能力。HDFS 具有很好的容錯(cuò)能力，并且兼容廉價(jià)的硬件設(shè)備，因此可以以較低的成本利用現(xiàn)有機(jī)器實(shí)現(xiàn)大流量和大數(shù)據(jù)量的讀寫。

本章首先介紹分布式文件系統(tǒng)的基本概念、結(jié)構(gòu)和設(shè)計(jì)需求，然后介紹HDFS，詳細(xì)闡述它的重要概念、體系結(jié)構(gòu)、存儲原理和讀寫過程，最后介紹了一些HDFS編程實(shí)踐方面的知識。