本站所有内容仅限用于学习和研究目的,如有侵权请邮件与我们联系处理!
世上事本无难易,为之则易!

网站首页 站群教程 原创站群教程 正文

通过伪静态对垃圾蜘蛛返回403,对游客返回503的设置方法

曹操 2022-09-26 原创站群教程 262 ℃ 1 评论 745字 free 收藏

江山代有才人出,各领风骚数百年。

这段时间看到要给骚客,通过伪静态设置仅蜘蛛可以抓取,垃圾蜘蛛返回403,游客返回503的代码。

通过伪静态对垃圾蜘蛛返回403,对游客返回503的设置方法-第1张图片

用到这样的伪静态几乎无解,游客啥也看不到。

if ($http_user_agent ~* (SemrushBot|DotBot|HttpClient|MJ12bot|SemrushBot|Barkrowler|AhrefsBot|PetalBot|BLEXBot|SM-G900P|Googlebot|Bytespider)) {
     return 403;}
set $return_status true;
if ($http_user_agent !~* "Baidu|sogou") { set $return_status false;}
if ($remote_addr ~* "127.0.0.1|127.0.0.2") { set $return_status true;}
if ($return_status = false) { return 503;}

有朋友还问,有一些页面,游客点击了就跳转,模拟蜘蛛无论如何也看不到页面内容,这是为什么?

可能这种页面设置了禁止PC抓取,所以模拟的PC蜘蛛过去啥也抓不到。然后他是通过PHP进行跳转的,就算你禁止了网页加载JS,也正常跳转。


Tags:蜘蛛伪静态跳转

必看说明

  • 本站中所有被研究的素材与信息全部来源于互联网,版权争议与本站无关。
  • 本站文章或仅为文本内容原创,非程序原创。如有侵权、不妥之处,请联系站长第一时间删除。敬请谅解!
  • 本站所有内容严格遵守国家法律的条例,所有研究的算法技术均来源于搜索引擎公开默认允许用户研究使用的接口。
  • 本站分享的任何工具、程序仅供学习参考编写架构,仅可在本地的虚拟机内断网测试,严禁联网运行或上传搭建!
  • 任何资源必须在下载后24个小时内,从电脑中彻底删除。不得传播或者用于其他任何用途!否则一切后果用户自负!
  • 转载请注明 : 文章转载自  曹操SEO 通过伪静态对垃圾蜘蛛返回403,对游客返回503的设置方法
  • 本文标题:《通过伪静态对垃圾蜘蛛返回403,对游客返回503的设置方法》
  • 本文链接:https://www.ccooc.cn/1784.html

已有1位网友发表了看法:

  • 烈日当空

    烈日当空  评论于 [2022-09-27 09:15:53]  回复

    感谢站长分享,这是我需要的代码。

欢迎 发表评论:

网站分类
近期评论
文章归档
标签列表
站点信息
  • 文章总数:1844
  • 页面总数:7
  • 分类总数:46
  • 标签总数:360
  • 评论总数:5835
  • 浏览总数:4400930