本站VIP 免费查看
开通会员
开通本站VIP可查看该内容
当我们给自己的泛目录设置仅蜘蛛抓取生成缓存的时候,我们需要模拟蜘蛛抓取测试我们的设置是否成功。
绝大部分时候我们都使用网页蜘蛛模拟抓取测试工具测试,UA不算全面,所以这里分享支持模拟更多UA的本地化的模拟蜘蛛访问站点工具。
很多客户站点被黑客入侵并挂了搜索引擎劫持代码,只有在搜索引擎抓取站点时才会显示非法信息,平时正常浏览无法显示。
黑客的主要目的就是当搜索引擎抓取站点时显示他的非法关键字和非法地址,从而使他的站点权重增加,为他带来利益。
为了更好的处理这类似问题,(虽说主流浏览器也可模拟蜘蛛访问,但大多数用户不会设置。)写了一个小工具直接模拟蜘蛛抓取显示非法信息。
输入网址后,可以正常访问测试,也可以在选择合适的UA后查看前段代码,或查看网站HTML源码。
百度PC蜘蛛;
百度移动蜘蛛;
谷歌蜘蛛;
360PC蜘蛛;
360移动蜘蛛;
必应蜘蛛;
雅虎蜘蛛;
搜狗蜘蛛;
有道蜘蛛;
苹果微信;
模拟安卓;
微信模拟;
您还可以访问www.cjzzc.com/crawl.html免费在线模拟蜘蛛抓取网站。
下载仅供技术交流、学习探讨,请勿用于非法用途!请在下载后24小时内删除!
已有16位网友发表了看法:
mowenseo 评论于 [2024-08-27 04:19:56] 回复
看看怎么使用
haotian 评论于 [2024-08-16 12:01:56] 回复
来支持下吧
lokkkk 评论于 [2024-01-19 03:30:08] 回复
谢谢老板
真男人 评论于 [2023-10-31 13:58:43] 回复
谢谢老板
FD 评论于 [2023-06-15 23:08:49] 回复
好东西下载一个
Zero 评论于 [2023-05-22 12:41:51] 回复
不错不错
噬天狗 评论于 [2023-03-13 14:22:32] 回复
这个可以的
qq768338 评论于 [2023-02-07 14:33:45] 回复
谢谢老板
噬天狗 评论于 [2022-12-08 19:07:24] 回复
我来试试,谢谢老哥
xtyyds1008 评论于 [2022-12-06 19:41:16] 回复
看看怎么使用
xtyyds1008 评论于 [2022-12-05 17:00:16] 回复
asas
访客 评论于 [2022-10-27 00:57:12] 回复
草泥马
噬天狗 评论于 [2022-10-24 16:32:38] 回复
谢谢老板
步信停云 评论于 [2022-10-20 10:47:36] 回复
看看怎么使用
小豆芽 评论于 [2022-10-08 14:52:48] 回复
看看怎么使用