本站所有内容仅限用于学习和研究目的,如有侵权请邮件与我们联系处理!
世上事本无难易,为之则易!

网站首页 蜘蛛池 蜘蛛池教程 正文

常用搜索引擎的HTTP_USER_AGENT

曹操 2022-07-15 蜘蛛池教程 223 ℃ 0 评论 411字 free 收藏

下面是常用搜索引擎名与 HTTP_USER_AGENT对应值,掌握了这些知识我们可以更好地设置对相应蜘蛛的屏蔽。

百度:baiduspider

谷歌:googlebot

搜狗:sogou

360:360

神马:YisouSpider

腾讯:SOSOsosospider

雅虎:slurp

有道:youdaobot

必应:Bingbingbot

当然还有很多垃圾蜘蛛的UA:SemrushBot、DotBot、HttpClient、MJ12bot、SemrushBot、Barkrowler、AhrefsBot、PetalBot、BLEXBot、SM-G900P,这里不一一叙述。

另外还有一些搜狗的UA,我们没有去一一验证:Sogou Orion spider、Sogou News Spider、Sogou blog、Sogou spider2、Sogou inst spider、Sogou web spider、Sogou spider。


Tags:搜索引擎下拉搜索引擎搜狗蜘蛛谷歌

必看说明

  • 本站中所有被研究的素材与信息全部来源于互联网,版权争议与本站无关。
  • 本站文章或仅为文本内容原创,非程序原创。如有侵权、不妥之处,请联系站长第一时间删除。敬请谅解!
  • 本站所有内容严格遵守国家法律的条例,所有研究的算法技术均来源于搜索引擎公开默认允许用户研究使用的接口。
  • 本站分享的任何工具、程序仅供学习参考编写架构,仅可在本地的虚拟机内断网测试,严禁联网运行或上传搭建!
  • 任何资源必须在下载后24个小时内,从电脑中彻底删除。不得传播或者用于其他任何用途!否则一切后果用户自负!
  • 转载请注明 : 文章转载自  曹操SEO 常用搜索引擎的HTTP_USER_AGENT
  • 本文标题:《常用搜索引擎的HTTP_USER_AGENT》
  • 本文链接:https://www.ccooc.cn/231.html

本文暂时没有评论,来添加一个吧(●'◡'●)

欢迎 发表评论:

网站分类
近期评论
文章归档
标签列表
站点信息
  • 文章总数:1809
  • 页面总数:7
  • 分类总数:46
  • 标签总数:359
  • 评论总数:5457
  • 浏览总数:4249198