官术网_书友最值得收藏!

分布式機器學習:系統(tǒng)、工程與實戰(zhàn)
會員

本書主要講解分布式機器學習算法和開源框架,讀者既可以從宏觀的設(shè)計上了解分布式機器學習的概念和理論,也可以深入核心技術(shù)的細節(jié)設(shè)計中,對分布式機器學習形成深刻而直觀的認識,做到學以致用。本書共分為5篇,第1篇是分布式基礎(chǔ),首先介紹了分布式機器學習的概念、基礎(chǔ)設(shè)施,以及機器學習并行化技術(shù)、框架和軟件系統(tǒng),然后對集合通信和參數(shù)服務器PS-Lite進行了介紹。第2篇是數(shù)據(jù)并行,以PyTorch和Horovod為主對數(shù)據(jù)并行進行分析,讀者可以了解在具體工程領(lǐng)域內(nèi)實現(xiàn)數(shù)據(jù)并行有哪些挑戰(zhàn)和解決方案。第3篇是流水線并行,講解了除模型劃分之外,還通過引入額外的流水線來提高效率,以GPipe/PyTorch/PipeDream為例進行分析。第4篇是模型并行,首先對NVIDIAMegatron進行分析,講解如何進行層內(nèi)分割模型并行,然后講解PyTorch如何支持模型并行,最后介紹分布式優(yōu)化器。第5篇是TensorFlow分布式,前面幾篇以PyTorch為綱,結(jié)合其他框架/庫來穿插完成,本篇帶領(lǐng)大家進入TensorFlow分布式領(lǐng)域。

柳浩 ·基礎(chǔ)知識 ·21.9萬字

QQ閱讀手機版

主站蜘蛛池模板: 麻阳| 昆明市| 萨迦县| 元江| 寻乌县| 同仁县| 镇巴县| 高碑店市| 商城县| 贺州市| 茶陵县| 罗平县| 江安县| 赤城县| 霸州市| 沽源县| 南华县| 阳山县| 青浦区| 报价| 甘洛县| 咸宁市| 绥中县| 台中市| 治县。| SHOW| 确山县| 兴业县| 安庆市| 兴海县| 南通市| 庆城县| 新绛县| 福建省| 合江县| 佛坪县| 巴林右旗| 南丹县| 吴堡县| 商都县| 安达市|