来自网友 - 八爪鱼采集器的回答
https://www.zhihu.com/question/22324380/answer/1053878896

作为一款智能爬虫工具，我来说最让自己头疼的一些反爬措施吧！

1.数据只到APP中展现，不提供相应的web端页面，数据传输尽量不提供json链接，或json链接中含随机参数，请求为post请求。
2.在网页源码中对文本进行css混淆，页面上可以正常显示，不影响用户查看，但源码中均用其他值代替，实现加密。
3.采用Google的人机验证。
4."投毒"给对方提供虚假的数据。

来自网友 - 刘城的回答
https://www.zhihu.com/question/22324380/answer/21002391

一种是分析爬虫特征，尝试过滤爬虫的请求另外一些可能技巧：

1. 在页面开头放上一些钓鱼的链接（一般人点不到），爬虫会去访问，一访问就把对应的ip封了
2. 页面全是图像
3. 页面内容用javascript来生成
4. 页面上不提供可以供爬虫追踪的链接，跳转都用js触发

个人认为：在页面开头放上一些钓鱼的链接（一般人点不到），爬虫会去访问，一访问就把对应的ip封了 这个方法是真的实用，让我想起了有些垃圾邮件中会特意放上一张“像素小到肉眼看不到的图片，通过图片链接来判断目标用户”的那个邪招，这次又跟网友学习了一招。