可以试试以下几种解决方案:
1、伪造User-Agent,在请求头中把User-Agent设成浏览器中的User-Agent,来伪造浏览器访问。访问时间间隔设长一点,访问时间设置为随机数。
2、cookies 的处理,有的网站对登陆用户政策宽松些,友情提示:考虑爬虫给人家网站带来的负担
3、降低IP访问速率。不要过快的访问,不然会导致IP被封。我们首先要检测出网站设置的限制速度阈值,这样我们才可以设置合理的访问速度,建议不要设固定的访问速度,可以设置在一个范围之内,因为过于规律而被系统检测到,也会导致IP被封。有时候平台为了阻止频繁访问,会设置IP在规定时间内的访问次数,超过次数就会禁止访问。