如果在使用scrapy进行断点续爬的时候 正好request中没有要爬取的链接了, 这个时候如果直接启动爬虫项目则会续爬失败, 达不到断点续爬的目的, 为此经过测试得出解决办法

注意点一

需要在次启动程序时候, 当作新的一个请求, 从新往redis中设置start_url值, 但此时需要注意, 翻页的时候就得添加dont_filter=True, 因为如果不加scrapy会自动进行去重请求, 假如翻页的这几个链接已经被爬取过了, 当从头跑的时候, 经过去重集合去重, 会认为所有的页码都已经爬取过了, 然后爬虫程序就停止了

注意点二

当翻页的时候就不能将page下所有链接直接进行Request请求, 因为当添加了dont_filter=True后, 会导致得到的请求直接扔到队列里面, 不进行去重(会导致redis中的request队列中存在很多无用无效), 因为在发请求的时候, 只获取下一页的链接, 进行Request请求

# 下一页(不建议, 会导致redis中存在很多无用无效请求)

next_hrefs = resp.xpath('//*[@id="main"]/div[4]/a/@href').extract()

for next_href in next_hrefs:

yield scrapy.Request(

url=resp.urljoin(next_href),

callback=self.parse,

dont_filter=True

)

# 下一页(建议这样写)

next_href = resp.xpath('//*[@id="main"]/div[4]/a[contains(text(),"下一页")]/@href').extract_first()

if next_href:

yield scrapy.Request(

url=resp.urljoin(next_href),

callback=self.parse,

dont_filter=True

)

精彩链接

评论可见，请评论后查看内容，谢谢！！！
 您阅读本篇文章共花了：