总有坏人想爬我网站的数据，看我用这 10 招干他！程序员反爬虫经验分享

最恨两种人[doge] 爬我网站的人 不让我爬他网站的人

♥ 1267 ↩ 12

这题我会，主流反爬虫手段 ①检测浏览器环境动态生成cookie(瑞数) ②验证码(极验，顶象) ③js混淆或加密，obfuscator的js混淆，wasm加密，jsvmp(js虚拟机) ④字体反爬，CSS反爬，雪碧图 ⑤tls指纹检查 只要肯花钱，不是随便起个无头浏览器就可以爬走数据 另外爬虫会用代理，所以封ip没用而且很容易误伤[doge]

♥ 432 ↩ 49

反爬做到防新手就够了，防老手靠的是法律，你敢靠我没授权的东西过度损害我的利益，那就只能把你送进去了。

♥ 291 ↩ 22

好像都是后端开发很常见的解决办法，有一种防爬技术叫蜜罐，在常见的链接中放一个url，页面看不到，但是爬虫能拿到，访问这个url的直接封。 以此类推，多搞一些网页看不到但是爬虫能拿到的内容。 或者直接参考起点，搞几套自己的字符集，爬虫拿到的就是乱码，除非有正确的解码方式。 不过我觉得鱼皮的网站可能更多的是被好奇的程序员拿来练手，你搞得越复杂，越让人想要挑战[doge] 针对这个场景，不如搞个一键部署的镜像，让人自己部署一个环境自己爬自己[doge]

♥ 160 ↩ 19

之前从一个网站爬小说，然后，从第10页开始给我报错，链接全给我拒了，这好办，直接随机延时几秒再get下一页，然后看到爬下来的全是乱码，我用了好多编码解码操作，还是不行，我一气之下，用Python拉起Firefox，既然浏览器能正常打开小说，那就浏览器先渲染一遍，再用Python摘抄内容，然后设置好浏览器开10个页面，就睡觉去了。 再之前是从一个网站爬涩图，然后每次都是两个多小时开始错误502，后来断断续续的爬了好几次，总共也就几个G，期间尝试了使用代理啥的，当时我手上就三个服务器，根本没有那么宽的IP池，而且还害怕速度太快时间太长给我把IP地址给墙了，总之，找到解决方案已经是两年后了，方案就是每爬15分钟，将URL指向192.168.1.1，发送一个reboot命令，就可以得到一个新的、不限速的、免费的IP地址，连代理都省了，直接20线程开始，给我爬！好家伙，愣是爬了将近18个小时，再后来就是网站404了，本来人家就不是什么正规网站，再加上盗版，国外服务器，停更好几年，干这活倒是没什么心理负担。。。

♥ 150 ↩ 14

马上转型成java之父了

♥ 115 ↩ 2

学会防爬是为了做更好的爬虫[脱单doge]

♥ 122 ↩ 5

前面忘了后面忘了，IP池，启动[doge]

♥ 75 ↩ 8

我来，I am not a robot 搞过谷歌的想必深有体会[吃瓜]

♥ 51 ↩ 10

学会了，以后爬虫先获取所有链接再随机访问，然后多个账号随机低频率爬虫[doge]

♥ 36 ↩ 1

做一题就得填一个图形验证码[doge][doge][支持]

♥ 34 ↩ 23

@余胜军说java编程 怎么反制他 教会我充199会员[doge]

♥ 34 ↩ 1

鱼总，如果别人是用ocr图片识别的方式你怎么搞？

♥ 25 ↩ 9

把题目都打包好，直接供用户下载。[doge][支持][支持]

♥ 22 ↩ 3

《为了防止网站被爬，我成了大数据玩家》

♥ 23 ↩ 1

1. 部分关键字直接替换为图片。 2.随机文章内容插入10%随机字符串，设置鼠标不可选中不可复制不占位置。 3.自己做一些盗版网站引流让其他的盗版网站破产。4.自己开发字体，内容只有使用自己的字体才能显示。 这是我在某文集团工作反爬虫的经验。

♥ 19 ↩ 5

我这见过一种反机器人的验证码机制，可以防住很多机器人，当然也能防住很多人类就是了

♥ 16 ↩ 6

记录鼠标轨迹和停留时间，如果是直接访问url的做频率限制或禁止访问就好了。 如果有前置入口页面，可以记录前一个页面的鼠标轨迹和停留时间，类似登陆页面的具体细节拖动验证码机制。 细节上可以增加获取浏览器指纹确保客户在浏览器环境。获取登陆页面的浏览器指纹，验证和被抓取的页面环境是否一致。

♥ 14 ↩ 1

我个人也喜欢搞爬虫同时也是站长，这些什么算法跟浏览器验证都是无意义的，无非就是多浪费点时间拆代码跟算法。人家大厂网站各种算法都被大牛拆得烂大街了。建议每次请求都验证存在服务器的ip跟ua，并加上无感验证唯一标识缓存到redis，对于无感验证对真人体验其实还好。具体实现和体验需要自行测试。

♥ 16 ↩ 9