韩国赌场,MG娱乐游戏,澳门金沙 - 郑州隆兴工业电炉

当前位置: 主页 > 澳门金沙 >

目前反爬虫机制有哪些手段,使用代理ip来规避的做法用nodejs具体



时间:2016-12-22 08:22来源:未知作者:admin 点击:

根据个人经验,简单的反爬虫技术有:

1. 判断headers 中的参数,比如user-agent 不是浏览器的不允许访问;refer 不是来源于特定域名的也不行(反盗链常用技术)。这是最常见的反爬虫技术。

2. cookies 检查用户cookies,需要登录的网站常采用这种技术。比如论坛、微博、雪球等。

以上两个可以通过手动设计headers 和cookies 搞定,python 程序员使用requests 可以很方便解决。还有一些比较复杂的技术:

1. 数据通过ajax 返回后通过js 混淆处理,而js 处理过程可以写的很复杂,以至于爬虫程序员没法分析。

2. 数据通过flash 和服务器端交互。 例如船讯网shipxy.com 中请求船舶信息部分。

3. 通过ip 或者特定账号单位时间内请求数量来限制访问,基本无解,比如你爬爬 google scholar 试试看


原文链接:http://www.zzlongxingdl.com/aomenjinsha/137.html 转载请注明出处