写爬虫的小伙伴要注意,爬虫一时爽,但如果你的爬虫触犯了法律,可是要承担责任的哦,那么什么样的爬虫才算是安全的爬虫呢? 1、爬虫访问频次要控制,别把对方服务器搞崩溃了虽然你爬取的信息都是公开的,也不涉及公民隐私,爬取的数据也不用于违法获利,只是自己弄着玩,但是如果你的爬虫太疯狂了,一分钟请求1万次,导致对方服务器应接不暇,不能处理正常业务了,这种就属于违法行为,已经等同于进行黑客攻击了,对方网站不能正常工作了,损害了对方的利益。 2、 涉及到个人隐私的信息你不能爬,这很好理解,你希望你自己的电话号,身份证号,家庭住址,工作单位,行踪轨迹这些隐私信息被别人用爬虫抓取么?当然不希望,别人抓了你的这些信息,你肯定回想报警了吧,所以你不要去做那个坏蛋。 3、 突破网站的反爬措施,后果很严重正规的网站都会在根目录下放置 robots.txt,规定了哪些能爬,哪些不能爬,谁可以爬。 不过有些网站没有做特别严厉的反爬措施,如果你偷偷的爬一点东西,不影响它的正常服务,它也懒得找你麻烦,但那种反爬特别严重的,最好别去爬,如果你真的利用你的高智商突破了反爬措施,那么你已经违法了。 4、 不要用爬取的数据做不正当竞争,比如你把某点评的评论数据都爬下来了,然后自己搞了一个xx点评,肯定不行,人家辛辛苦苦的积累的数据,你轻轻松松搬运来,跟人家竞争,你不违法谁违法。 5、 付费内容不要抓,既然是付费内容,说明这东西价值很高,付费才能看,你爬下来私自传播,就对网站造成了潜在损失。 6、最后一条,突破网站反爬措施的代码,最好不要上传到网上,要是想做坏事的人利用了你的代码,入侵了网站,那么,这种情况下,你也是有责任的,这个听起来有点冤,但确实存在这样的风险。

​​​​​​​

推荐链接

评论可见,请评论后查看内容,谢谢!!!
 您阅读本篇文章共花了: