这是利用业余时间编写的，基于selenium的微博关键字搜索结果全自动爬虫，支持自定义搜素关键字、搜索起始时间、爬取起始页数（以实现中断后接上次继续爬取）。爬取内容包括微博账号、发文时间、发送平台、微博内容、转发次数、评论次数、点赞次数、原博地址，并导出为CSV文件。自己测试持续稳定运行24小时以上，连续爬取微博数量3W以上。

下面放上目前版本v1.0.3的代码，仅作为个人练手项目，随缘更新：

from selenium import webdriver

from selenium.webdriver.chrome.options import Options

from selenium.webdriver.common.by import By

from lxml import etree

import pandas

import requests

import json

import datetime

import random

import time

import re

import selenium.common.exceptions

# from get_cookie import get_cookie

class GetWeibo:

browser_options = Options()

# 不显示浏览器界面

browser_options.add_argument("--headless")

# 不使用沙盒模式

# browser_options.add_argument("--no-sandbox")

browser = webdriver.Chrome(chrome_options=browser_options)

headers = {'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) '

'AppleWebKit/537.36 (KHTML, like Gecko) Chrome'

'/103.0.0.0 Safari/537.36'}

print("浏览器已成功创建。")

def __init__(self):

self.base_url = 'https://s.weibo.com/weibo'

self.keywords = None

self.origin = None

self.time_judge = None

# 如果cookie失效，请重新运行

# get_cookie()

self.main()

def open_search(self):

self.browser.get(self.base_url)

self.browser.delete_all_cookies()

time.sleep(8)

print(f'微博搜索页面{self.browser.current_url}已成功打开...')

kw = self.browser.find_element(By.XPATH, ('//div[@class="searchbox"]/div[@class="search-input"]/'

'input[@type="text"]'))

self.keywords = input('请输入微博搜索的关键词，按回车键确认：')

print(f'搜索关键词为：{self.keywords}。')

while True:

self.origin = input('搜索所有微博请输入1，按回车键确认，直接按回车键则只搜索原创微博：')

if self.origin == '':

self.origin = '&scope=ori'

print('仅搜索原创微博。')

break

elif self.origin == '1':

self.origin = '&typeall=1'

print('搜索全部微博。')

break

else:

print('输入错误，请重新输入。')

continue

while True:

date_time = input('请按年-月-日-时的格式输入抓取微博的发布截止时间（示例：2022-08-03-07），按回车键确认，直接按回车键则截止时间为当前时间：')

if date_time == '':

date_format = '%Y-%m-%d-%H'

date_time = datetime.datetime.now().strftime(date_format)

date_time = (datetime.datetime.strptime(date_time, date_format) + (

datetime.timedelta(hours=+1))).strftime(date_format)

print('截止时间为：当前时间。')

break

elif re.match(r'(2\d{3})-'

r'('

r'('

r'(0[13578]|1[02])-(0[1-9]|[12]\d|3[01])-'

r')|'

r'('

r'(0[469]|11)-(0[1-9]|[12]\d|30)-'

r')|'

r'('

r'02-(0[1-9]|1[\d|2[0-8])-'

r')'

r'('

r'(0)|([01]\d)|(2[0-3])'

r')'

r')', date_time) is None:

print('时间格式输入错误，请重新输入！')

continue

else:

print(f'截止时间为：{date_time}。')

break

self.time_judge = datetime.datetime.strptime(date_time, '%Y-%m-%d-%H')

while True:

page_begin = input('请输入微博列表的抓取起始页（0至50之间），按回车键确认，直接按回车键从第1页开始：')

if page_begin == '':

page_begin = ''

print('抓取起始页为：第1页。')

break

elif re.match(r'([1-4]\d|50)', page_begin) is None:

print('抓取起始页输入错误，请重新输入！')

continue

else:

print(f'抓取起始页为：第{page_begin}页。')

page_begin = '&page=' + str(page_begin)

break

kw.send_keys(self.keywords)

click_search = self.browser.find_element(By.XPATH, '//div[@class="searchbox"]/button[@class="s-btn-b"]')

click_search.click()

time.sleep(1)

click_list = self.browser.find_element(By.XPATH, '//div[@class ="m-main-nav"]/ul/li[2]/a')

click_list.click()

time.sleep(1)

print(f'微博列表页面{self.browser.current_url}已成功打开，列表按时间倒序排序。')

with open('cookies.txt', 'r') as f:

cookies_list = json.load(f)

for cookie in cookies_list:

if isinstance(cookie.get('expiry'), float):

cookie['expiry'] = int(cookie['expiry'])

self.browser.add_cookie(cookie)

self.browser.refresh()

date_format = '%Y-%m-%d-%H'

date_past = (datetime.datetime.strptime(date_time, date_format) + datetime.timedelta(days=-31)).strftime(

date_format)

url = self.browser.current_url

url_change = re.search(r'(.*)(?=q=)', url)

url = url_change.group() + f'q={self.keywords}{self.origin}&suball=1×cope=custom:{date_past}:{date_time}&Refer=g{page_begin}'

print(f'本次抓取的开始时间是：{datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")}')

search_times = 0

return url, search_times

def auto_search(self, url, search_times):

if url != self.browser.current_url:

self.browser.get(url)

print(f'微博列表页面{self.browser.current_url}已打开，抓取中...')

time.sleep(1)

data = etree.HTML(self.browser.page_source)

post_url = data.xpath('//p[@class="from"]/a[1]/@href')

if len(post_url) == 0:

post_url = data.xpath('//div[@class="from"]/a[1]/@href')

df = pandas.DataFrame(

columns=['微博账号', '发文时间', '发送平台', '微博内容', '转发次数', '评论次数', '点赞次数', '原博地址'])

for index, url_single in enumerate(post_url):

url = 'https:' + url_single

print(url)

while True:

self.browser.get(url)

time.sleep(1)

post = etree.HTML(self.browser.page_source)

names = post.xpath('//a[@usercard]/span[@title]/text()')

print(names)

time_ = post.xpath('//a[@title][@href][@class][1]/text()')

time_ = f'20{"".join(time_).strip()}'

if time_ == '20':

print('解析错误，正在处理...')

time.sleep(60)

self.browser.back()

continue

elif index == 0:

try:

time_mark = datetime.datetime.strptime(time_, '%Y-%m-%d %H:%M')

if time_mark > self.time_judge:

next_time = (datetime.datetime.now() + (datetime.timedelta(seconds=+3601))).strftime(

'%Y-%m-%d %H:%M:%S')

_target_time = datetime.datetime.strptime(next_time, '%Y-%m-%d %H:%M:%S')

_time = datetime.datetime.strftime(datetime.datetime.now(), '%Y-%m-%d %H:%M:%S')

print(f'达到单时段最大次数限制。当前时间是{_time}，目前已抓取{search_times}条微博，下次抓取时间：{next_time}，现在睡眠中...')

while datetime.datetime.now() < _target_time:

time.sleep(60)

self.browser.back()

click_next = None

while True:

try:

click_next = self.browser.find_element(By.XPATH,

'//div[@class="m-page"]/div/a[@class="next"]')

break

except selenium.common.exceptions.NoSuchElementException as E:

print(repr(E))

next_time = (

datetime.datetime.now() + (datetime.timedelta(seconds=+3601))).strftime(

'%Y-%m-%d %H:%M:%S')

_target_time = datetime.datetime.strptime(next_time, '%Y-%m-%d %H:%M:%S')

_time = datetime.datetime.strftime(datetime.datetime.now(), '%Y-%m-%d %H:%M:%S')

print(

f'达到单时段最大次数限制。当前时间是{_time}，目前已抓取{search_times}条微博，下次抓取时间：{next_time}，现在睡眠中...')

while datetime.datetime.now() < _target_time:

time.sleep(120)

self.browser.back()

continue

click_next.click()

url = self.browser.current_url

return url, search_times

except ValueError as VE:

print(repr(VE))

time.sleep(60)

self.browser.back()

continue

break

print(time_)

from1 = post.xpath('//div[@class="woo-box-flex"]/div[@title]/text()')

from2 = post.xpath('//div[@class="woo-box-flex"]/div[contains(@class, "head-info_cut")]/text()')

from1 = ''.join(from1)

from2 = ''.join(from2)

from_all = from1 + from2

blogs = post.xpath('//div[contains(@class, "detail_text")]/div/text()')

blogs = ''.join(blogs)

forward = post.xpath('//span[@class="woo-pop-ctrl"]/div/span/text()')

forward = [0 if i == ' 转发 ' else i for i in forward]

if '万' not in forward:

pass

else:

forward = ''.join(forward)

forward = int(float(forward[0:-1]) * 10000)

comments = post.xpath('//div[contains(@class, "woo-box-item-flex toolbar_item")]'

'/div[contains(@class, "woo-box-flex")]/span/text()')

comments = [0 if i == ' 评论 ' else i for i in comments]

if '万' not in comments:

pass

else:

comments = ''.join(comments)

comments = int(float(comments[0:-1]) * 10000)

likes = post.xpath('//div[contains(@class, "toolbar_likebox")]/button/span[@class="woo-like-count"]/text()')

likes = [0 if i == '赞' else i for i in likes]

if '万' not in likes:

pass

else:

likes = ''.join(likes)

likes = int(float(likes[0:-1]) * 10000)

key_list = ['微博账号', '发文时间', '发送平台', '微博内容', '转发次数', '评论次数', '点赞次数', '原博地址']

info_list = [names, time_, from_all, blogs, forward, comments, likes, url]

csv_info = dict(zip(key_list, info_list))

df1 = pandas.DataFrame(csv_info, columns=key_list)

df = pandas.concat([df, df1])

time.sleep(.5)

self.browser.back()

search_times += 1

df.to_csv('weibo_spider.csv', mode='a', encoding='utf_8_sig', header=False, index=False)

url = self.browser.current_url

page_num = url.split('page=')[-1]

if page_num.isdigit() is False:

page_num = '1'

page_num = int(page_num)

_time = datetime.datetime.strftime(datetime.datetime.now(), '%Y-%m-%d %H:%M:%S')

print(f'已成功提取第{page_num}页微博信息并追加写入CSV文件！当前时间是{_time}，目前已抓取{search_times}条微博。')

if page_num == 50:

post = etree.HTML(self.browser.page_source)

time_last = post.xpath('//p[@class="from"]/a[1]/text()')

if len(time_last) == 0:

time_last = post.xpath('//div[@class="from"]/a[1]/text()'

time_last = time_last[-1]

if '年' in time_last:

year_num = ''.join(re.findall(r'(\d+)', time_last)[0])

mon_num = ''.join(re.findall(r'(\d+)', time_last)[1])

day_num = ''.join(re.findall(r'(\d+)', time_last)[2])

hour_num = ''.join(re.findall(r'(\d+)', time_last)[3])

min_num = ''.join(re.findall(r'(\d+)', time_last)[4])

elif '今天' in time_last:

year_num = str(datetime.datetime.today().year)

mon_num = str(datetime.datetime.today().month)

day_num = str(datetime.datetime.today().day)

hour_num = ''.join(re.findall(r'(\d+)', time_last)[2])

min_num = ''.join(re.findall(r'(\d+)', time_last)[3])

else:

year_num = str(datetime.datetime.today().year)

mon_num = ''.join(re.findall(r'(\d+)', time_last)[0])

day_num = ''.join(re.findall(r'(\d+)', time_last)[1])

hour_num = ''.join(re.findall(r'(\d+)', time_last)[2])

min_num = ''.join(re.findall(r'(\d+)', time_last)[3])

time_last = year_num + '-' + mon_num + '-' + day_num + ' ' + hour_num + ':' + min_num

time_last = datetime.datetime.strptime(time_last, '%Y-%m-%d %H:%M')

time_last = datetime.datetime.strftime(time_last, '%Y-%m-%d-%H')

date_format = '%Y-%m-%d-%H'

time_begin = (datetime.datetime.strptime(time_last, date_format) +

datetime.timedelta(days=-31)).strftime(date_format)

time_end = (datetime.datetime.strptime(time_last, date_format) +

datetime.timedelta(hours=+1)).strftime(date_format)

print(f'这是第50页，本页最后一条微博时间为{time_last}。当前时间是{_time}，目前已抓取{search_times}条微博。准备跳转页面...')

url = self.browser.current_url

url_change = re.search(r'(.*)(?=q=)', url)

url = url_change.group() + f'q={self.keywords}{self.origin}&suball=1×cope=custom:{time_begin}:{time_end}&Refer=g&page=1'

return url, search_times

click_next = None

while True:

try:

click_next = self.browser.find_element(By.XPATH,

'//div[@class="m-page"]/div/a[@class="next"]')

break

except selenium.common.exceptions.NoSuchElementException as E:

print(repr(E))

next_time = (datetime.datetime.now() + (datetime.timedelta(seconds=+3601))).strftime('%Y-%m-%d %H:%M:%S')

_target_time = datetime.datetime.strptime(next_time, '%Y-%m-%d %H:%M:%S')

_time = datetime.datetime.strftime(datetime.datetime.now(), '%Y-%m-%d %H:%M:%S')

print(f'达到单时段最大次数限制。当前时间是{_time}，目前已抓取{search_times}条微博，下次抓取时间：{next_time}，现在睡眠中...')

while datetime.datetime.now() < _target_time:

time.sleep(60)

self.browser.back()

continue

click_next.click()

url = self.browser.current_url

return url, search_times

def main(self):

url, search_times = self.open_search()

while True:

url, search_times = self.auto_search(url, search_times)

if __name__ == '__main__':

gt = GetWeibo()

 

获取cookie，需要登录自己的微博账号，建议手机APP扫码：

from selenium import webdriver

from selenium.webdriver.chrome.options import Options

import json

import time

browser_options = Options()

browser = webdriver.Chrome(chrome_options=browser_options)

headers = {'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) '

'AppleWebKit/537.36 (KHTML, like Gecko) Chrome'

'/103.0.0.0 Safari/537.36'}

print("浏览器已成功创建。")

def get_cookie(url='https://weibo.com/login.php'):

url = url

browser.get(url)

print('请在25秒内，使用微博APP扫码登录你的账号...')

time.sleep(25)

with open('cookies.txt', 'w') as f:

f.write(json.dumps(browser.get_cookies()))

f.close()

print('已成功保存cookie信息。')

if __name__ == '__main__':

get_cookie()

 

 

精彩链接

评论可见，请评论后查看内容，谢谢！！！
 您阅读本篇文章共花了： 


大家都在找：

selenium：selenium元素定位

python：python免费下载安装

爬虫：爬虫是什么

新浪微博：新浪微博热搜榜

大家都在看：

爬虫 【 Python足彩网站赔率数据文件自动下载（Tkinter+BeautifulSoup+Selenium隐藏浏览器界面，双线程）】

Python爬虫足彩网站赔率数据Excel文件自动定时下载（Tkinter+BeautifulSoup+Selenium隐藏浏览器界面，双线程）朋友为了分析足彩的实时赔率，需要每隔一段时间自动下载网站...

python 爬虫 基于selenium实现自动填写问卷星的问卷调查

你是否还在为学校天天发的问卷调查而苦恼？你是否还在为天天填写朋友的问卷调查而苦恼？你是否还在为没人帮你填写问卷调查而苦恼？废话不多说，直接上解决方案：没用用过selenium的小朋友记得先安装配置一下...

python 爬虫 网络爬虫 selenium-chromedriver如何安装（自动模拟浏览器程序）

selenium是一种自动模拟浏览器的程序，它可以代替你的手去完成一些反复无聊的点击以及其他动作！很多小伙伴不知道selenium怎么用，这里讲解一下selenium的chromedriver的安装方...

chrome python爬虫（三）12306自动抢票--- selenium

往期目录一、python爬虫入门篇https://blog.csdn.net/weixin_64050468/article/details/130501830?spm=1001.2014.3001....

爬虫-华为云空间备忘录导出到docx-selenium控制浏览器行为-python数据处理

背景+适用情况介绍老的荣耀手机属于华为云系统，家里人换了新荣耀手机属于荣耀云系统无法通过云空间将备忘录转移到新手机，不想让他们一个一个搞，于是整了一晚上想办法爬取下来。从网页抓取下来，然后存到docx...

Python爬虫使用selenium爬取qq群的成员信息（全自动实现自动登陆）

python免费学习资料以及群交流解答点击即可加入效果图，其中涉及一些真名我就打码了，还有qq号我也打码了，见谅分析登陆的元素，下图一目了然，怎么获取这个登陆元素应该都知道了代码奉上构建谷歌驱动器请求...

python selenium自动获取cookies用于requests做接口请求爬虫

目录 一、思想 二、代码          有关爬虫一些报错解决，或是爬虫工具的使用及其他问题的，可以看看我的爬虫专栏：博主_zkkkkkkkkkkkkk的爬虫专栏 一、思想         sel...

基于YOLOv8的多目标检测与自动标注软件【python源码+PyqtUI界面+exe文件】【深度学习】

《博主简介》 小伙伴们好，我是阿旭。专注于人工智能AI、python、计算机视觉相关分享研究。 ✌更多学习资源，可关注公-仲-hao:【阿旭算法与机器学习】，共同学习交流~ 感谢小伙伴们点赞、关注...

python 如何读取csv文件内容建立映射表（基于pandas）

前言在进行NLP模型训练的时候，训练数据集经常是被保存在csv文件中，我们训练模型的时候就需要从csv文件中取数据同时，一些公司的大语言模型的语料来源，往往是通过爬虫等技术从网路上爬取下来的，数据的训...

开发语言 【Python爬虫】基于selenium库爬取京东商品数据——以“七夕”为例

小白学爬虫，费了一番功夫终于成功了哈哈！本文将结合本人踩雷经历，分享给各位学友~ 一、导包 二、创建csv文件 用写入方式打开名为data的csv文件，并确定将要提取的五项数据。 #将表头信息写入文件...

爬虫后存放数据 Python爬虫（10）selenium爬虫后数据，存入csv、txt并将存入数据并对数据进行查询

之前的文章有关于更多操作方式详细解答，本篇基于前面的知识点进行操作，如果不了解可以先看之前的文章 Python爬虫（1）一次性搞定Selenium(新版)8种find_element元素定位方式 Py...

python 数据挖掘 【详细步骤解析】爬虫小练习——爬取豆瓣Top250电影，最后以csv文件保存，附源码

豆瓣top250主要步骤1.发送请求，根据url地址，然后送请求 2.获取数据，获取服务器返回的响应的内容 3.解析数据：提取想要爬取的内容 4.保存数据：将得到的数据保存为文档具体实施#豆瓣top2...

开发语言 滑动验证 爬虫 python通过selenium实现自动登录及轻松过滑块验证、点选验证码（2024-06-14）

一、chromedriver配置环境搭建请确保下载的驱动程序与你的Chrome浏览器版本匹配，以确保正常运行。1、Chrome版本号chrome的地址栏输入chrome://version，自然就得到...

测试工具 基于python的携程旅游数据采集作业，通过selenium爬取指定经典用户评论信息，将用户评论信息保存在本地数据库和excel文件。

效果图：一.导入相应的包二.设置存储列表三.创建chromeddriver对象实例四.获得用户评论数据五.建立数据库连接，保存到本地数据库六.将数据保存在xlsx文件中七.保存用户的评论图片到本地

python 开发语言 爬虫 网页数据的存储--存储为文本文件(TXT、JSON、CSV)

        用解析器解析出数据后，接下来就是存储数据了。数据的存储有多种多样，其中最简单的一种是将数据直接保存为文本文件，如TXT、JSON、CSV等。这里就介绍将数据直接保存为文本文件。目录一、...