目录
一、爬虫（网络蜘蛛(Spider)）
1.1、是什么：
1.2、学习的原因
1.3、用在地方：
1.4、是否合法：
1.5、后果
案例：
二、应用领域
三、Robots协议
四、抓包
4.1、浏览器抓包
4.2、抓包工具
常见的抓包工具：
五、网络爬虫步骤及相关技术
第一步：获取网页
三种方式：
第二步：解析网页(提取数据) 三种方式
三种方式：
最后一步：存储数据
六、思维导图总结
一、爬虫（网络蜘蛛(Spider)）
1.1、是什么：
网络蜘蛛：互联网是张网，可以在网上走来走去
网络爬虫就是自动的从网络上获取数据的程序【模拟客户端浏览器】
1.2、学习的原因
好吃：有数据才能进行数据分析【大数据分析】
能从网络上爬取什么：浏览网站时所能看见的数据都可以通过爬虫程序保存下来、文字、图片、视频/音频
1.3、用在地方：
数据展示----------将爬取的数据展示到网页或者APP上，比如：百度新闻、今日头条，
数据分析-----------从数据中寻找一些规律，比如：慢慢买(价格对比)、TIOBE排行等
1.4、是否合法：
网络爬虫的约束---------Robots协议、约束网络爬虫程序的速度（一秒发出一千个请求）
1.5、后果
要么封账号要么封ip（换ip----换电脑，网上有ip池，花钱买）,严重的坐牢
案例：
爬虫禁区1:
为违法违规组织提供爬虫相关服务 (验证码识别服务贩卖SEO......)
知乎某极验破解者自述被抓 “快啊答题”AI破解验证码服务开发者被判刑永嘉警方揪出“黑”百度黑客团伙 千扰搜索引擎牟利超七千万元
爬虫禁区2: 个人隐私数据抓取与贩卖
简历大数据公司“5达科技”被一锅端社保掌上通被下架 用户的信息很容易泄露太不安全了爬虫为何受关注? 业内: 大数据服务商或因合作方涉套路贷犯罪而被牵连
爬虫禁区3:利用无版权的商业数据获利
“车来了”涉嫌偷数据被警方立案裁判文书网数据竟被售卖: 爬虫程序抓取 或成侵权
二、应用领域
2.1、区分Python与爬虫
Python 不是爬虫，而是一种编程语言。然而，Python 在爬虫领域中有着广泛的应用。许多人选择使用 Python 来编写网络爬虫，因为它有许多强大的库和工具，如 Requests、Beautiful Soup、Scrapy 等，可以帮助开发者轻松地编写和管理爬虫程序。
因此，虽然 Python 本身不是爬虫，但它是一种非常适合用于编写爬虫的编程语言，可以帮助开发者快速、高效地创建各种类型的网络爬虫。
Python
是一种功能强大且灵活的编程语言，因此在各种领域都有广泛的应用。以下是 Python 的一些主要应用领域：
1. Web 开发：Python 可以用于开发 Web 应用程序和网站，常用的 Web 框架包括 Django 和 Flask。
2. 数据科学和机器学习：Python 在数据科学和机器学习领域非常流行，因为有许多强大的库和工具，如 NumPy、Pandas、SciPy、scikit-learn 和 TensorFlow。
3. 自动化和脚本编写：Python 可以用于编写自动化脚本，包括系统管理、文件操作、数据处理等。
4. 科学计算和工程：Python 在科学计算和工程领域有广泛的应用，因为它可以处理复杂的数学计算和科学建模。
5. 游戏开发：Python 可以用于开发游戏，有一些流行的游戏引擎如 Pygame 和 Panda3D。
6. 网络编程：Python 在网络编程方面有着良好的支持，可以用于开发网络应用和服务器端程序。
7. 数据库：Python 有许多库可以用于与各种数据库进行交互，如 MySQL、PostgreSQL 和 MongoDB。
8. GUI 应用程序：Python 可以用于开发图形用户界面（GUI）应用程序，如使用 Tkinter、PyQt 和 wxPython 等库。
总的来说，Python 在各种领域都有广泛的应用，因此是一种非常流行的编程语言。
爬虫： 1. 搜索引擎：爬虫被用于搜索引擎的抓取和索引网页内容，以便用户可以通过搜索引擎找到相关的信息。 2. 数据挖掘：爬虫可以用于从网页上抓取大量的数据，然后进行分析和挖掘，以发现有用的信息和趋势。 3. 价格比较和商品信息收集：爬虫可以用于抓取不同网站上的商品信息和价格，以便用户可以比较不同产品的价格和特性。 4. 网络安全：爬虫可以用于发现和分析网站上的安全漏洞和恶意软件，以帮助提升网络安全。 5. 社交媒体分析：爬虫可以用于抓取社交媒体上的信息和数据，以进行用户行为分析和趋势预测。 6. 舆情监控：爬虫可以用于监控新闻网站、论坛和社交媒体上的舆情信息，以帮助政府和企业了解公众舆论。 7. 金融市场分析：爬虫可以用于抓取金融市场上的数据和信息，以进行趋势分析和预测。 8. 学术研究：爬虫可以用于抓取学术文献和研究成果，以帮助研究人员进行文献综述和数据分析。
三、Robots协议
是网站管理和网络爬虫开发者之间的一种合作方式/君子协议（说白了就是给你看的，网站自己会做反爬手段），有效地管理网络爬虫对网站的访问，保护网站内容的安全性和合法性。
在网站后面加/robots.txt就可以看见那些可以爬那些不可以爬
Disallow：禁止爬
Allow:允许爬
四、抓包
抓包（Packet Capture）是指通过软件工具捕获和分析计算机网络中传输的数据包。抓包通常用于网络分析、安全审计、故障排除和网络性能优化等目的。
简单说明：电脑当前连了网，我们要和另外一台电脑通讯，通讯过程中发送的数据，是以包来发送的
4.1、浏览器抓包
右键---->检查（快捷键：F12）
4.2、抓包工具
可以截取经过计算机网络接口的数据包，并将其保存到文件中供后续分析。这些数据包可以包含从源到目的地的所有通信内容，包括通信双方的IP地址、端口号、协议类型、数据内容等信息。通过分析这些数据包，可以深入了解网络通信的细节，发现潜在的安全问题、网络瓶颈或者通信异常。
抓包工具通常可以在本地计算机上运行，也可以在网络设备上运行。
常见的抓包工具：
Wireshark、tcpdump、Fiddler、Charles等。这些工具提供了丰富的功能，可以对抓取到的数据包进行过滤、分析和可视化展示，帮助网络管理员和安全专家进行网络监控和问题排查。
伪基站就假的网络
五、网络爬虫步骤及相关技术
第一步：获取网页
三种方式：
urllib
requests
selenium(模拟浏览器)
其他：多线程和多进程抓取、登录抓取、突破IP封禁和服务器抓取
第二步：解析网页(提取数据) 三种方式
三种方式：
re正则表达式
BeautifulSoup
lxml
最后一步：存储数据
存储文件或数据库中
六、思维导图总结
精彩链接
您阅读本篇文章共花了：
发表评论