- 大數(shù)據(jù)技術(shù)原理與應(yīng)用(第2版)
- 林子雨編著
- 291字
- 2019-07-30 13:20:28
第3章 分布式文件系統(tǒng)HDFS
大數(shù)據(jù)時(shí)代必須解決海量數(shù)據(jù)的高效存儲問題,為此,谷歌開發(fā)了分布式文件系統(tǒng)(Google File System,GFS),通過網(wǎng)絡(luò)實(shí)現(xiàn)文件在多臺機(jī)器上的分布式存儲,較好地滿足了大規(guī)模數(shù)據(jù)存儲的需求。Hadoop分布式文件系統(tǒng)(Hadoop Distributed File System,HDFS)是針對GFS的開源實(shí)現(xiàn),它是 Hadoop 兩大核心組成部分之一,提供了在廉價(jià)服務(wù)器集群中進(jìn)行大規(guī)模分布式文件存儲的能力。HDFS 具有很好的容錯(cuò)能力,并且兼容廉價(jià)的硬件設(shè)備,因此可以以較低的成本利用現(xiàn)有機(jī)器實(shí)現(xiàn)大流量和大數(shù)據(jù)量的讀寫。
本章首先介紹分布式文件系統(tǒng)的基本概念、結(jié)構(gòu)和設(shè)計(jì)需求,然后介紹HDFS,詳細(xì)闡述它的重要概念、體系結(jié)構(gòu)、存儲原理和讀寫過程,最后介紹了一些HDFS編程實(shí)踐方面的知識。
推薦閱讀
- Instant Raspberry Pi Gaming
- Mastering Proxmox(Third Edition)
- 21小時(shí)學(xué)通AutoCAD
- Dreamweaver 8中文版商業(yè)案例精粹
- 數(shù)據(jù)中心建設(shè)與管理指南
- WOW!Illustrator CS6完全自學(xué)寶典
- CorelDRAW X4中文版平面設(shè)計(jì)50例
- 21天學(xué)通C語言
- Storm應(yīng)用實(shí)踐:實(shí)時(shí)事務(wù)處理之策略
- 悟透JavaScript
- 單片機(jī)C語言應(yīng)用100例
- LAMP網(wǎng)站開發(fā)黃金組合Linux+Apache+MySQL+PHP
- 基于神經(jīng)網(wǎng)絡(luò)的監(jiān)督和半監(jiān)督學(xué)習(xí)方法與遙感圖像智能解譯
- 在實(shí)戰(zhàn)中成長:C++開發(fā)之路
- Learn Microsoft Azure