本站所有内容仅限用于学习和研究目的,如有侵权请邮件与我们联系处理!
世上事本无难易,为之则易!

网站首页 站群教程 原创站群教程 正文

通过伪静态屏蔽主流蜘蛛返回403的方法

曹操 2022-07-15 原创站群教程 735 ℃ 0 评论 670字 free 收藏

有时候我们使用域名搭建一些居间站点,或应用于跳转,或是其他需求。

往往这些页面不被主流搜索引擎认可,动不动给域名报毒,在qq等聊天软件中报红,浏览器报毒不让打开。

有的这些站点会有些许流量,如果被爆红爆毒会对我们的使用造成困恼,我们不需要被搜索引擎抓取收录更不需要排名,所以我们可以禁止主流的蜘蛛抓取,而游客访问则不受到干扰。

正常情况下域名爆红都是robot爬虫扫描并检测到敏感内容导致的,往后的审核或是爬虫审核,或是人工审核,如果是前者,在不影响正常使用的情况下,我们屏蔽爬虫抓取则显得很有必要。

很多时候尽管我们写了robots.txt,申明禁止任何爬虫抓取,但实际上还是会产生收录。使用伪静态跳转403页面的方式更为简单暴力。

如曹操SEO网站的演示站,使用此代码后将不在主流搜索引擎收录,模拟蜘蛛抓取后返回403提示,如下图:

通过伪静态屏蔽主流蜘蛛返回403的方法-第1张图片

我们在伪静态中写下如下代码在第一行:

if ($http_user_agent ~* (SemrushBot|DotBot|HttpClient|MJ12bot|SemrushBot|Barkrowler|AhrefsBot|PetalBot|BLEXBot|SM-G900P|Baiduspider|sogou|360|Googlebot|YisouSpider|SOSOsosospider|Bingbingbot|youdaobot)) {
     return 403;}

记住一定要按写在伪静态的第一行哦!


Tags:曹操SEO曹操搜索引擎导航模板SEO优化视频教程

必看说明

  • 本站中所有被研究的素材与信息全部来源于互联网,版权争议与本站无关。
  • 本站文章或仅为文本内容原创,非程序原创。如有侵权、不妥之处,请联系站长第一时间删除。敬请谅解!
  • 本站所有内容严格遵守国家法律的条例,所有研究的算法技术均来源于搜索引擎公开默认允许用户研究使用的接口。
  • 阅读本文及获取资源前,请确保您已充分阅读并理解《访问曹操SEO网站需知:行为准则》。
  • 本站分享的任何工具、程序仅供学习参考编写架构,仅可在本地的虚拟机内断网测试,严禁联网运行或上传搭建!
  • 任何资源必须在下载后24个小时内,从电脑中彻底删除。不得传播或者用于其他任何用途!否则一切后果用户自负!
  • 转载请注明 : 文章转载自  曹操SEO 通过伪静态屏蔽主流蜘蛛返回403的方法
  • 本文标题:《通过伪静态屏蔽主流蜘蛛返回403的方法》
  • 本文链接:https://www.ccooc.cn/232.html

本文暂时没有评论,来添加一个吧(●'◡'●)

欢迎 发表评论:

网站分类
近期评论
文章归档
标签列表
站点信息
  • 文章总数:2022
  • 页面总数:7
  • 分类总数:46
  • 标签总数:340
  • 评论总数:8967
  • 浏览总数:5226984