python 数据库开发语言 Scrapy 请求并发数设置

　　并发数可以在scrapy项目的settings.py文件中设置。

　　1.CONCURRENT_ITEMS

　　　　是指：最大并发项目数，默认100个。　　

　　2.CONCURRENT_REQUESTS

　　　　是指：下载器将执行的并发(即同时)请求的最大数量，默认16个。

　　3.CONCURRENT_REQUESTS_PER_DOMAIN

　　　　是指：任何单个域执行的并发(即同时)请求的最大数量，默认:8

　　4.CONCURRENT_REQUESTS_PER_IP

　　　　是指：任何单个IP执行的并发求的最大数量，而使用该设置，并发限制将适用于每个 IP，而不是每个域，默认0不启用，

　　　　　　　　如果非0，CONCURRENT_REQUESTS_PER_DOMAIN和DOWNLOAD_DELAY则忽略

　　项目中默认配置的请求并发数是16个，下面代码和截图验证了此功能。

def start_requests(self):

self.load_urlList()

#self.urls是一个url列表

while len(self.urls)>0:

url= self.urls.pop(0)

print(url)

print(f"抓取还有url{len(self.urls)}个")

yield scrapy.Request(url=url, callback=self.parse,headers=self.headers)

　　 scrapy crawl spidername 命令启动时，request请求了16个url，下图是一次并发多个抓取

　 settings.py全局配置如下所示：

# Configure maximum concurrent requests performed by Scrapy (default: 16)

#CONCURRENT_REQUESTS = 32

# Configure a delay for requests for the same website (default: 0)

# See https://docs.scrapy.org/en/latest/topics/settings.html#download-delay

# See also autothrottle settings and docs

#DOWNLOAD_DELAY = 3

# The download delay setting will honor only one of:

#CONCURRENT_REQUESTS_PER_DOMAIN = 16

#CONCURRENT_REQUESTS_PER_IP = 16

参考文档：https://docs.scrapy.org/en/latest/topics/settings.html#

金钥匙