本書從實際的爬蟲業(yè)務(wù)需求延伸到知識點和具體實現(xiàn)，并詳細(xì)介紹了其中的原理。首先帶領(lǐng)讀者領(lǐng)略爬蟲程序的構(gòu)成和完整鏈條，學(xué)習(xí)自動化工具的應(yīng)用場景和基本使用；接著介紹了增量爬取的分類和具體實現(xiàn)、基于Redis的分布式爬蟲實現(xiàn)和基于RabbitMQ的分布式爬蟲實現(xiàn)，通過閱讀論文和源碼剖析詳細(xì)介紹了高準(zhǔn)確率的網(wǎng)頁正文自動化提取方法；然后通過源碼調(diào)試了解到與Python項目的部署和調(diào)度相關(guān)的知識，進(jìn)而動手實踐，編寫了一款具備權(quán)限控制、Python通用項目部署、定時調(diào)度、異常監(jiān)控和釘釘機(jī)器人消息通知的爬蟲項目管理平臺；最后通過解讀分布式調(diào)度平臺的核心架構(gòu)，幫助大家了解分布式架構(gòu)中最為重要的節(jié)點通信、文件同步等知識。