文章目录

前言selenium工具使用相关操作窗口跳转无头浏览器(后台运行)超级鹰(破解验证码)处理12306登陆验证

总结

前言

本博客仅做学习笔记，如有侵权，联系后即刻更改

科普：

参考网址

selenium工具使用

自动化测试工具：selenium引入

首先在pycharm里面下载安装相关模块

pip install selenium

它要启动你电脑上的浏览器, 这就需要⼀个驱动程序来辅助

Edge驱动安装导航Edge驱动运行异常解决

# 能不能让我的程序连接到浏览器 . 让浏览器来完成各种复杂的操作, 我们只接受最终的结果

# selenium: 自动化测试工具

# 可以: 打开浏览器. 然后像人一样去操作浏览器

# 程序员可以从selenium中直接提取网页上的各种信息

# 让selenium启动Edge浏览器

from selenium.webdriver import Edge

# msedgedriver.exe下载后放到浏览器的目录下

# # 1.创建浏览器对象

web = Edge("C:\Program Files (x86)\Microsoft\Edge\Application\msedgedriver.exe")

# 2.打开一个网址

web.get("http://www.baidu.com")

print(web.title)

相关操作

进入拉勾网查询python相关岗位

查找和获取网页相关位置内容的xpath点击按钮和输入相关文本

from selenium.webdriver import Edge

from selenium.webdriver.common.keys import Keys

import time

web = Edge("C:\Program Files (x86)\Microsoft\Edge\Application\msedgedriver.exe")

web.get("http://lagou.com")

# 找到某个元素. 点击它

el = web.find_element_by_xpath('//*[@id="cboxClose"]')

el.click() # 点击事件

time.sleep(1) # 让浏览器缓一会儿

# 找到输入框. 输入python => 输入回车/点击搜索按钮

web.find_element_by_xpath('//*[@id="search_input"]').send_keys("python", Keys.ENTER)

time.sleep(1)

# 查找存放数据的位置. 进行数据提取

# 找到页面中存放数据的所有的li

li_list = web.find_elements_by_xpath('//*[@id="s_position_list"]/ul/li')

for li in li_list:

job_name = li.find_element_by_tag_name("h3").text

job_price = li.find_element_by_xpath("./div/div/div[2]/div/span").text

company_name = li.find_element_by_xpath('./div/div[2]/div/a').text

print(company_name, job_name, job_price)

窗口跳转

from selenium.webdriver import Chrome

from selenium.webdriver.common.keys import Keys

import time

web = Chrome()

# web.get("http://lagou.com")

#

# web.find_element_by_xpath('//*[@id="cboxClose"]').click()

#

# time.sleep(1)

#

# web.find_element_by_xpath('//*[@id="search_input"]').send_keys("python", Keys.ENTER)

#

# time.sleep(1)

#

# web.find_element_by_xpath('//*[@id="s_position_list"]/ul/li[1]/div[1]/div[1]/div[1]/a/h3').click()

#

# # 如何进入到进窗口中进行提取

# # 注意, 在selenium的眼中. 新窗口默认是不切换过来的.

# web.switch_to.window(web.window_handles[-1])

#

# # 在新窗口中提取内容

# job_detail = web.find_element_by_xpath('//*[@id="job_detail"]/dd[2]/div').text

# print(job_detail)

#

# # 关掉子窗口

# web.close()

# # 变更selenium的窗口视角. 回到原来的窗口中

# web.switch_to.window(web.window_handles[0])

# print(web.find_element_by_xpath('//*[@id="s_position_list"]/ul/li[1]/div[1]/div[1]/div[1]/a/h3').text)

# 如果页面中遇到了 iframe如何处理

web.get("https://www.91kanju.com/vod-play/541-2-1.html")

# 处理iframe的话. 必须先拿到iframe. 然后切换视角到iframe . 再然后才可以拿数据

iframe = web.find_element_by_xpath('//*[@id="player_iframe"]')

web.switch_to.frame(iframe) # 切换到iframe

# web.switch_to.default_content() # 切换回原页面

tx = web.find_element_by_xpath('//*[@id="main"]/h3[1]').text

print(tx)

无头浏览器(后台运行)

from selenium.webdriver import Chrome

from selenium.webdriver.chrome.options import Options

from selenium.webdriver.support.select import Select

import time

# 准备好参数配置

opt = Options()

opt.add_argument("--headless")

opt.add_argument("--disbale-gpu")

web = Chrome(options=opt) # 把参数配置设置到浏览器中

web.get("https://www.endata.com.cn/BoxOffice/BO/Year/index.html")

time.sleep(2)

# # 定位到下拉列表

# sel_el = web.find_element_by_xpath('//*[@id="OptionDate"]')

# # 对元素进行包装, 包装成下拉菜单

# sel = Select(sel_el)

# # 让浏览器进行调整选项

# for i in range(len(sel.options)): # i就是每一个下拉框选项的索引位置

# sel.select_by_index(i) # 按照索引进行切换

# time.sleep(2)

# table = web.find_element_by_xpath('//*[@id="TableList"]/table')

# print(table.text) # 打印所有文本信息

# print("===================================")

#

# print("运行完毕. ")

# web.close()

# 如何拿到页面代码Elements(经过数据加载以及js执行之后的结果的html内容)

print(web.page_source)

超级鹰(破解验证码)

from selenium.webdriver import Chrome

from chaojiying import Chaojiying_Client

import time

web = Chrome()

web.get("http://www.chaojiying.com/user/login/")

# 处理验证码

img = web.find_element_by_xpath('/html/body/div[3]/div/div[3]/div[1]/form/div/img').screenshot_as_png

chaojiying = Chaojiying_Client('18614075987', '6035945', '914467')

dic = chaojiying.PostPic(img, 1902)

verify_code = dic['pic_str']

# 向页面中填入用户名, 密码, 验证码

web.find_element_by_xpath('/html/body/div[3]/div/div[3]/div[1]/form/p[1]/input').send_keys("18614075987")

web.find_element_by_xpath('/html/body/div[3]/div/div[3]/div[1]/form/p[2]/input').send_keys("6035945")

web.find_element_by_xpath('/html/body/div[3]/div/div[3]/div[1]/form/p[3]/input').send_keys(verify_code)

time.sleep(5)

# 点击登录

web.find_element_by_xpath('/html/body/div[3]/div/div[3]/div[1]/form/p[4]/input').click()

处理12306登陆验证

from selenium.webdriver import Chrome

from selenium.webdriver.common.action_chains import ActionChains

from selenium.webdriver.chrome.options import Options

from chaojiying import Chaojiying_Client

import time

# 初始化超级鹰

chaojiying = Chaojiying_Client('18614075987', '6035945', '914467')

# 如果你的程序被识别到了怎么办?

# 1.chrome的版本号如果小于88 在你启动浏览器的时候(此时没有加载任何网页内容), 向页面嵌入js代码. 去掉webdriver

# web = Chrome()

#

# web.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {

# "source": """

# navigator.webdriver = undefined

# Object.defineProperty(navigator, 'webdriver', {

# get: () => undefined

# })

# """

# })

# web.get(xxxxxxx)

# 2.chrome的版本大于等于88

option = Options()

# option.add_experimental_option('excludeSwitches', ['enable-automation'])

option.add_argument('--disable-blink-features=AutomationControlled')

web = Chrome(options=option)

web.get("https://kyfw.12306.cn/otn/resources/login.html")

time.sleep(2)

web.find_element_by_xpath('/html/body/div[2]/div[2]/ul/li[2]/a').click()

time.sleep(3)

# 先处理验证码

verify_img_element = web.find_element_by_xpath('//*[@id="J-loginImg"]')

# 用超级鹰去识别验证码

dic = chaojiying.PostPic(verify_img_element.screenshot_as_png, 9004)

result = dic['pic_str'] # x1,y1|x2,y2|x3,y3

rs_list = result.split("|")

for rs in rs_list: # x1,y1

p_temp = rs.split(",")

x = int(p_temp[0])

y = int(p_temp[1])

# 要让鼠标移动到某一个位置. 然后进行点击

# 醒了 -> 掀开被子 -> 坐起来 -> 穿鞋子 -> 穿衣服 -> 开始执行动作

ActionChains(web).move_to_element_with_offset(verify_img_element, x, y).click().perform()

time.sleep(1)

# 输入用户名和密码

web.find_element_by_xpath('//*[@id="J-userName"]').send_keys("123456789")

web.find_element_by_xpath('//*[@id="J-password"]').send_keys("12346789")

# 点击登录

web.find_element_by_xpath('//*[@id="J-login"]').click()

time.sleep(5)

# 拖拽

btn = web.find_element_by_xpath('//*[@id="nc_1_n1z"]')

ActionChains(web).drag_and_drop_by_offset(btn, 300, 0).perform()

总结

小小励志

有些事你现在不做，一辈子都不会做了。 如果你想做一件事，全世界都会为你让路。 《搭车去柏林》

推荐文章

评论可见，请评论后查看内容，谢谢！！！
 您阅读本篇文章共花了： 


大家都在找：

爬虫：爬虫软件

学习：学习心得

selenium：selenium是什么

大家都在看：

爬虫学习 Scrapy中间件&代理&UA随机&selenium使用

目录中间件UA、代理处理---process_requestUA随机代理处理selenium+scrapy中间件控制台操作 (百度只起个名setting.py内运行middlewares.py 中间件...

【爬虫基础】自动化工具 Selenium 的使用

目录 前言 Selenium 的基本使用 （1）使用 Selenium 打开网页 （2）使用 Selenium 模拟登录 （3）使用 Selenium 模拟翻页 Selenium 的进阶使用 （1）使...

JS逆向 python javascript 【0基础学爬虫】爬虫基础之自动化工具 Selenium 的使用

大数据时代，各行各业对数据采集的需求日益增多，网络爬虫的运用也更为广泛，越来越多的人开始学习网络爬虫这项技术，K哥爬虫此前已经推出不少爬虫进阶、逆向相关文章，为实现从易到难全方位覆盖，特设【0基础学爬...

python爬虫学习日志 使用selenium爬取动态网页数据

使用selenium爬取动态网页 概念动态网页定义selenium介绍 准备工作安装Google Chrome浏览器下载chromedriver.exe插件安装selenium库 代码实现 ...

前端 爬虫 网络爬虫 安全 开发语言 如何使用 Python 和 Selenium 解决 Cloudflare 验证码

你知道吗？大约 20% 你需要抓取的网站使用 Cloudflare，这是一个强大且不断崛起的反机器人保护系统，可以轻松击败你的努力。如果你正在为 Cloudflare 验证码失败而苦恼，你并不孤单。在...

python爬虫进阶篇：Scrapy中使用Selenium+Firefox浏览器爬取国债逆回购并发送QQ邮件通知

一、前言 每到年底国债逆回购的利息都会来一波高涨，利息会比银行的T+0的理财产品的利息高，所以可以考虑写个脚本每天定时启动爬取逆回购数据，实时查看利息，然后在利息高位及时去下单。 二、环境搭建 详情请...

python3 爬虫相关学习5： python相关工具：anaconda，sublime

目录 前言 2 导航器/浏览器 /平台  Anaconda 2.1 怎么看anaconda里是否有已经安装的软件？ 2.1.1 方法1： 输入 conda list，然后去按 开头字母去找对应软件 2...

深度学习 开源模型应用落地-工具使用篇-Spring AI-Function Call（八）

一、前言    通过“开源模型应用落地-工具使用篇-Spring AI（七）-CSDN博客”文章的学习，已经掌握了如何通过Spring AI集成OpenAI和Ollama系列的模型...

测试工具 十一：爬虫-selenium工具

一：爬虫与反爬虫的斗争爬虫建议尽量减少请求次数保存获取到的HTML，供查错和重复使用 关注网站的所有类型的页面H5页面APP 多伪装代理IP# ip参考网站 https://www.kuaidaili...

运维 python 自动化测试 爬虫 网络爬虫 在Linux上使用Selenium驱动Chrome浏览器无头模式

        大家好，我们平时在做UI自动化测试的时候，经常会用到Chrome浏览器的无头模式（无界面模式），并且将测试代码部署到Linux系统中执行，或者平时我们写个爬虫爬取网站的数据也会使用到，...

深度学习 人工智能 开源模型应用落地-工具使用篇-Spring AI-高阶用法（九）

一、前言    通过“开源模型应用落地-工具使用篇-Spring AI-Function Call（八）-CSDN博客”文章的学习，已经掌握了如何通过Spring AI集成Open...

大数据 【Flink学习】NC工具安装使用 Linux命令 Windows安装

Flink学习工具安装 01-NC安装Windows版前言既往学习没有留痕习惯，用的时候熟练过后就忘记了，重新开始记录学习Flink之路，Fighting！一、NC工具简介NC是一款用于端口测试、扫描...

测试工具 【Python爬虫与数据分析】爬虫selenium工具

目录 一、selenium工具安装 二、selenium打开浏览器测试 三、无头浏览器 四、元素定位 五、页面滑动 六、按键、填写登录表单 七、页面切换 八、实战爬取当当网书籍数据 Selenium是...

【Flink学习】NC工具安装使用 Linux命令 Windows安装

NC是一款用于端口测试、扫描的网络工具。在Flink学习中，主要用于创建端口输入数据模拟数据流。二、NC工具安装-Linux三、NC工具安装-Windows1.官网下载地址为： https://ete...

网络爬虫 selenium 爬山算法 Python爬虫学习笔记（八）————Phantomjs与Chrome handless

目录（1）什么是Phantomjs？（2）如何使用Phantomjs？（1）系统要求：（2）配置：（3）配置封装：（4）封装调用：（1）什么是Phantomjs？        ①是一个无界面的浏览器...