任務1.2 認識反爬蟲

微課1-2 認識反爬蟲

任務描述

網站所有者為避免被爬蟲爬取一些重要信息，對數據進行有效保護，往往會針對爬蟲做出限制措施。爬蟲人員需要了解網站所有者反爬蟲的原因和想要通過反爬蟲達成的目的，并針對網站常用的爬蟲檢測方法和反爬蟲手段，制定相應的爬取策略來規避網站的檢測和限制。

任務分析

（1）了解反爬蟲的目的和常用手段。

（2）針對反爬蟲的常用手段制定相應的爬取策略。