最近学习python中的爬取功能,学习了scrapy框架,框架做的很NB,但是学习成本还是有点高,加上目前大部分网站对大并发的爬取也是采取了一些防爬措施,scrapy的强大功能也就用不上了(除非你用代理IP池),于是就着手写了一个简易的爬虫工具,参照scrapy优秀的框架和设计模式,写了一个简易版scrapy,取名叫myscrapy吧

源代码地址:myscrapy: myscrapy 类似Scrapy的简单的爬虫工具,入门简单易学,完整学习范例! (gitee.com)

后续会陆续详细讲解一下,这个工具的开发设计思路和代码

相关链接

评论可见,请评论后查看内容,谢谢!!!
 您阅读本篇文章共花了: