官术网_书友最值得收藏!

第3章 分布式文件系統(tǒng)HDFS

大數(shù)據(jù)時(shí)代必須解決海量數(shù)據(jù)的高效存儲問題,為此,谷歌開發(fā)了分布式文件系統(tǒng)(Google File System,GFS),通過網(wǎng)絡(luò)實(shí)現(xiàn)文件在多臺機(jī)器上的分布式存儲,較好地滿足了大規(guī)模數(shù)據(jù)存儲的需求。Hadoop分布式文件系統(tǒng)(Hadoop Distributed File System,HDFS)是針對GFS的開源實(shí)現(xiàn),它是 Hadoop 兩大核心組成部分之一,提供了在廉價(jià)服務(wù)器集群中進(jìn)行大規(guī)模分布式文件存儲的能力。HDFS 具有很好的容錯(cuò)能力,并且兼容廉價(jià)的硬件設(shè)備,因此可以以較低的成本利用現(xiàn)有機(jī)器實(shí)現(xiàn)大流量和大數(shù)據(jù)量的讀寫。

本章首先介紹分布式文件系統(tǒng)的基本概念、結(jié)構(gòu)和設(shè)計(jì)需求,然后介紹HDFS,詳細(xì)闡述它的重要概念、體系結(jié)構(gòu)、存儲原理和讀寫過程,最后介紹了一些HDFS編程實(shí)踐方面的知識。

主站蜘蛛池模板: 曲周县| 晋宁县| 盐边县| 汝阳县| 尖扎县| 静海县| 平顺县| 理塘县| 长海县| 威海市| 崇明县| 井冈山市| 安塞县| 广丰县| 呈贡县| 长春市| 池州市| 宁乡县| 杨浦区| 玉溪市| 福鼎市| 丹棱县| 杭州市| 古交市| 正镶白旗| 临海市| 巴东县| 阳西县| 新昌县| 株洲市| 新民市| 磐石市| 峨眉山市| 舟曲县| 镇宁| 罗田县| 洛南县| 山东| 福泉市| 罗城| 阜南县|