官术网_书友最值得收藏!

分布式機(jī)器學(xué)習(xí):系統(tǒng)、工程與實(shí)戰(zhàn)
會員

本書主要講解分布式機(jī)器學(xué)習(xí)算法和開源框架,讀者既可以從宏觀的設(shè)計(jì)上了解分布式機(jī)器學(xué)習(xí)的概念和理論,也可以深入核心技術(shù)的細(xì)節(jié)設(shè)計(jì)中,對分布式機(jī)器學(xué)習(xí)形成深刻而直觀的認(rèn)識,做到學(xué)以致用。本書共分為5篇,第1篇是分布式基礎(chǔ),首先介紹了分布式機(jī)器學(xué)習(xí)的概念、基礎(chǔ)設(shè)施,以及機(jī)器學(xué)習(xí)并行化技術(shù)、框架和軟件系統(tǒng),然后對集合通信和參數(shù)服務(wù)器PS-Lite進(jìn)行了介紹。第2篇是數(shù)據(jù)并行,以PyTorch和Horovod為主對數(shù)據(jù)并行進(jìn)行分析,讀者可以了解在具體工程領(lǐng)域內(nèi)實(shí)現(xiàn)數(shù)據(jù)并行有哪些挑戰(zhàn)和解決方案。第3篇是流水線并行,講解了除模型劃分之外,還通過引入額外的流水線來提高效率,以GPipe/PyTorch/PipeDream為例進(jìn)行分析。第4篇是模型并行,首先對NVIDIAMegatron進(jìn)行分析,講解如何進(jìn)行層內(nèi)分割模型并行,然后講解PyTorch如何支持模型并行,最后介紹分布式優(yōu)化器。第5篇是TensorFlow分布式,前面幾篇以PyTorch為綱,結(jié)合其他框架/庫來穿插完成,本篇帶領(lǐng)大家進(jìn)入TensorFlow分布式領(lǐng)域。

柳浩 ·基礎(chǔ)知識 ·21.9萬字

QQ閱讀手機(jī)版

主站蜘蛛池模板: 广河县| 本溪市| 电白县| 依兰县| 巴塘县| 鸡泽县| 北安市| 寿阳县| 赞皇县| 彰武县| 松江区| 太谷县| 康乐县| 襄樊市| 密山市| 轮台县| 亚东县| 海南省| 阿拉善左旗| 通河县| 子长县| 青川县| 沾益县| 广饶县| 青河县| 宁陵县| 长治市| 沁阳市| 道孚县| 内丘县| 当涂县| 化州市| 天峨县| 大关县| 达州市| 汽车| 固阳县| 兴和县| 仙桃市| 城口县| 正宁县|