在requests库请求成功后爬虫改写为scrapy.Request或scrapy.FormRequest却出现forbidden403的情况

其中有一个很容易让人忽视的点，那就是scrapy不支持在headers里携带cookie，否则请求将很难通过,例如通常我们请求 response = requests.get(url, headers=headers, verify=False)这时候cookie包含在 headers里，但是scrapy.Request 与scrapy.FormRequest并不支持这种写法，需要将headers与cookies拆分以字典的形式将两个参数分别传入scrapy的请求方法里，切勿使用headers={“cookie”: “*******”}格式传headers

当然，这只是其中的可能之一，笔者目前还没有遇到别的导致这样情况的原因，如有其他问题，可联系我一起探讨学习。纪念我的第一篇小分享@#@

相关文章

评论可见，请评论后查看内容，谢谢！！！
 您阅读本篇文章共花了：