1、原因：

Scrapy 遵循robots协议，对方网站存在robots.txt文件协议阻止。

2、解决：

到settings.py 文件取消遵循robots协议。

ROBOTSTXT_OBEY = True    --->    ROBOTSTXT_OBEY = False

注意：取消遵循之后，对方网站如果存在其他header头部限制，请配置头部信息。