目录
一、背景
二、爬虫的实现思路
1、直接requests爬取
2、综合思路
二、代码实现
1、初始化Selenium WebDriver：
2、访问用户视频列表页面
3、翻页处理
4、获取视频详细信息
5、保存数据
6、定义一个运行函数串联所有方法功能
三、实际运行效果
1、selenium爬取视频BV号
2、BV号的json文件
3、execl文件信息
一、背景
之前B站有刷到一个视频，关于某UP主的视频播放数统计，这视频的UP主是个狠人，一个个视频统计，最后算所有视频的播放数，可以是可以，就是有点废人，突然有了想用爬虫的思路了.
首先我们知道B站的每一个视频是BV号，视频的URL是由B站域名加唯一BV号如：
https://www.bilibili.com/video/BV1Qm411S7BP/5分钟了解 蓝色监狱【『剧场版 蓝色监狱 -EPIOSODE 凪-』2024年4月19日公開】_哔哩哔哩_bilibili
那这样爬取的大致思路就是获取所有BV号，再用requests，去爬取视频，获取视频信息
二、爬虫的实现思路
1、直接requests爬取
发现行不通，这里直接在up主页面访问得不到每一个视频的BV号
看样子这个JS脚本是来用于检测用户的信息，并根据这些条件可能会重定向不同的页面。此外，还有一些用于页面性能监控、日志上报和webp图片格式支持检测的脚本。
本菜鸟技术有限，打不过就绕过，直接上selenium来获取所有视频的BV号
2、综合思路
selenium用来获取BV号，爬取到具体的信息保存下来，配合多线程、requests用来爬取具体视频的信息，提高爬取效率，最后用execl保存爬取到的所有信息
二、代码实现
1、初始化Selenium WebDriver：
使用Selenium的Chrome WebDriver来模拟用户在浏览器中的操作，这样可以处理JavaScript渲染的页面
class GetInfo():
def __init__(self, user_id):
self.a_list = [] # 存储每一个视频的url
self.d = webdriver.Chrome() # 初始化Chrome浏览器驱动
self.user_id = user_id
self.base_url = f'https://space.bilibili.com/{user_id}/video'
self.d.get(self.base_url)
#这篇文章写于2022年，当时B站免登入可以搜索视频，查看视频，但是这段时间再次尝试爬取资源时，加了必须认证登入，尝试过很多次，没有获取token，只能老老实实，登入后再去爬取信息
time.sleep(10)
print("速度扫码登入")
实际效果，是可以直接访问，
但是会弹出登入验证，甚至因为未登入无法获取视频列表，接口返回无权限，遇到这种情况，只能登入，尝试过selenium带cookie，但是没用，甚至登入后copy as curl再postman导入请求，都返回无权限，说明搜索接口再请求服务器时候，没有带上cookie
2、访问用户视频列表页面
这里使用XPath定位到视频列表的ul元素，然后遍历其中的li元素，提取每个视频的URL。
def get_url(self):
# 从当前页面获取所有视频的URL并保存到本地文件
ul=WebDriverWait(self.d, 10).until(lambda x: x.find_element(By.XPATH, '//*[@id="submit-video-list"]/ul[1]'))
lis = ul.find_elements(By.XPATH, "li")
for li in lis:
self.a_list.append(li.get_attribute("data-aid"))
with open("url.json", "w+", encoding="utf-8") as f:
data = json.dumps(self.a_list, ensure_ascii=False) # 确保中文字符正常保存
f.write(data) # 使用write而不是writelines
3、翻页处理
首先获取总页数，然后通过点击“下一页”按钮来遍历所有页面，并在每个页面上调用get_urls方法来提取视频URL
def next_page(self):
# 遍历所有页面，获取所有视频的URL）
total = WebDriverWait(self.d, 10).until(lambda x: x.find_element(By.XPATH, '//*[@id="submit-video-list"]/ul[3]/span[1]'))
number = re.findall(r"\d+", total.text)
total = int(number[0])
for page in range(1, total):
try:
self.d.find_element(By.LINK_TEXT, '下一页').click()
time.sleep(2) # 等待页面加载
self.get_url() # 修复方法名错误
except Exception as e:
print(f"Failed to click next page: {e}")
return self.a_list
4、获取视频详细信息
使用requests库来获取每个视频页面的HTML内容，然后调用parse_video_page方法来解析并提取视频的详细信息
def get_video(self, urls, start, end):
# 使用requests.Session()来复用TCP连接
with requests.Session() as session:
session.headers.update({
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36"
})
base_url = "http://www.bilibili.com/video/"
# 预编译正则表达式以提高性能
title_pattern = re.compile(r'
play_count_pattern = re.compile(r'视频播放量 (\d+)')
danmu_count_pattern = re.compile(r'弹幕量 (\d+)')
like_count_pattern = re.compile(r'点赞数 (\d+)')
coin_count_pattern = re.compile(r'投硬币枚数 (\d+)')
favorite_count_pattern = re.compile(r'收藏人数 (\d+)')
share_count_pattern = re.compile(r'转发人数 (\d+)')
for url in urls[int(start):int(end)]:
full_url = base_url + url
try:
response = session.get(full_url)
if response.status_code == 200:
string = response.text
# 使用正则表达式提取视频信息
title_match = title_pattern.search(string)
title = title_match.group(1) if title_match else "未找到匹配的内容"
# 提取视频播放量、弹幕量等信息
play_count = play_count_pattern.search(string).group(1) if play_count_pattern.search(
string) else '0'
danmu_count = danmu_count_pattern.search(string).group(1) if danmu_count_pattern.search(
string) else '0'
like_count = like_count_pattern.search(string).group(1) if like_count_pattern.search(
string) else '0'
coin_count = coin_count_pattern.search(string).group(1) if coin_count_pattern.search(
string) else '0'
favorite_count = favorite_count_pattern.search(string).group(
1) if favorite_count_pattern.search(string) else '0'
share_count = share_count_pattern.search(string).group(1) if share_count_pattern.search(
string) else '0'
# 将提取的信息添加到self.data_list中
video_info = {
"url":full_url,
"title": title,
"play_count": play_count,
"danmu_count": danmu_count,
"like_count": like_count,
"coin_count": coin_count,
"favorite_count": favorite_count,
"share_count": share_count
}
self.data_list.append(video_info)
else:
print(f"Failed {full_url}: HTTP {response.status_code}")
except Exception as e:
print(f"Failed to get video info for url {full_url}: {e}")
5、保存数据
导入openpyxl库，用于将数据保存到Excel
def save_to_excel(self, filename):
wb = Workbook()
ws = wb.active
ws.append(['url','标题', '播放量', '弹幕数', '点赞数', '投币数', '收藏数', '分享数']) # 添加表头
for video_info in self.data_list:
ws.append([
video_info['url'],
video_info['title'],
video_info['play_count'],
video_info['danmu_count'],
video_info['like_count'],
video_info['coin_count'],
video_info['favorite_count'],
video_info['share_count']
])
wb.save(filename)
6、定义一个运行函数串联所有方法功能
def run(self):
# 运行整个流程
self.get_url() # 获取当前页面的视频URL
self.next_page() # 遍历所有页面获取视频URL
with open("url.json", "r", encoding="utf-8") as f:
data = json.load(f)
# 使用多线程提高数据获取效率
threads = []
part = int(len(data) / 3)
for i in range(3):
start = i * part
end = (i + 1) * part if i != 2 else len(data)
thread = threading.Thread(target=self.get_video, args=(data, start, end))
threads.append(thread)
thread.start()
for thread in threads:
thread.join() # 等待所有线程完成
# 所有线程完成后，保存数据到Excel
self.save_to_excel('final_video_info1.xlsx')
三、实际运行效果
if __name__ == '__main__':
obj = GetInfo()
obj.run() # 运行整个流程
1、selenium爬取视频BV号
自动翻页至最后一页
2、BV号的json文件
json文件列表长度和视频号一致
3、execl文件信息
有了这些文件，想统计具体的数据，就很轻松
相关文章
您阅读本篇文章共花了： 大家都在找：
python：python手机版
开发语言：开发语言最新排名
发表评论