网站首页 站群教程 原创站群教程 正文
有时候我们使用域名搭建一些居间站点,或应用于跳转,或是其他需求。
往往这些页面不被主流搜索引擎认可,动不动给域名报毒,在qq等聊天软件中报红,浏览器报毒不让打开。
有的这些站点会有些许流量,如果被爆红爆毒会对我们的使用造成困恼,我们不需要被搜索引擎抓取收录更不需要排名,所以我们可以禁止主流的蜘蛛抓取,而游客访问则不受到干扰。
正常情况下域名爆红都是robot爬虫扫描并检测到敏感内容导致的,往后的审核或是爬虫审核,或是人工审核,如果是前者,在不影响正常使用的情况下,我们屏蔽爬虫抓取则显得很有必要。
很多时候尽管我们写了robots.txt,申明禁止任何爬虫抓取,但实际上还是会产生收录。使用伪静态跳转403页面的方式更为简单暴力。
如曹操SEO网站的演示站,使用此代码后将不在主流搜索引擎收录,模拟蜘蛛抓取后返回403提示,如下图:
我们在伪静态中写下如下代码在第一行:
if ($http_user_agent ~* (SemrushBot|DotBot|HttpClient|MJ12bot|SemrushBot|Barkrowler|AhrefsBot|PetalBot|BLEXBot|SM-G900P|Baiduspider|sogou|360|Googlebot|YisouSpider|SOSOsosospider|Bingbingbot|youdaobot)) { return 403;}
记住一定要按写在伪静态的第一行哦!
必看说明
- 本站中所有被研究的素材与信息全部来源于互联网,版权争议与本站无关。
- 本站文章或仅为文本内容原创,非程序原创。如有侵权、不妥之处,请联系站长第一时间删除。敬请谅解!
- 本站所有内容严格遵守国家法律的条例,所有研究的算法技术均来源于搜索引擎公开默认允许用户研究使用的接口。
- 阅读本文及获取资源前,请确保您已充分阅读并理解《访问曹操SEO网站需知:行为准则》。
- 本站分享的任何工具、程序仅供学习参考编写架构,仅可在本地的虚拟机内断网测试,严禁联网运行或上传搭建!
- 任何资源必须在下载后24个小时内,从电脑中彻底删除。不得传播或者用于其他任何用途!否则一切后果用户自负!
- 转载请注明 : 文章转载自 曹操SEO 通过伪静态屏蔽主流蜘蛛返回403的方法
- 本文标题:《通过伪静态屏蔽主流蜘蛛返回403的方法》
- 本文链接:https://www.ccooc.cn/232.html
猜你喜欢
- 2024-03-23 本地IP可用的ChatGPT软件V1.1
- 2023-12-15 如何提高小站被搜索引擎收录的机会?
- 2023-12-15 实现IP地址屏蔽和白名单功能的php代码
- 2023-10-22 SEO行业的现状与未来展望:挑战与出路
- 2023-10-22 本地IP可用的ChatGPT软件:生成UTF-8格式
- 2023-09-18 泛目录蜘蛛统计免费版
- 2023-09-17 本地IP可用的chatGPT生成文章软件
- 2023-09-15 正规网站被百度站长资源平台判定为低质量站点怎么办?
- 2023-09-15 什么叫做搜搜引擎适合收录的内容?
- 2023-09-15 为什么泛二级域名不收录?
你 发表评论:
欢迎- 3964℃遵纪守法:一起举报违法网址
- 1034℃警惕“冒用身份”的电信网络诈骗
- 3147℃备案域名的买卖管控会越来越严,不要尝试!
- 1357℃6月1日是《中华人民共和国网络安全法》实施五周年
- 925℃违规事件分类与违规信息类型说明
- 847℃关于严格遵守网络安全法规的公告
- 2646℃百度正打击构造虚假标题等违规站点
- 1294℃「百日行动」“断卡”行动持续发力
- 3715℃影视模板+自定义缓存:懒人站群程序V2.4.1
- 3246℃搜狗自动养站程序:基于懒人站群程序V2.4.1
- 2124℃搜狗分城市泛二级程序:基于懒人站群程序V2.4.1
- 1667℃罪恶克星:多线程不良网站举报工具
- 1626℃移动端多线程填表百度反馈工具V1.3
- 1292℃如何提高小站被搜索引擎收录的机会?
- 1279℃多线程填表百度反馈工具使用说明
- 1218℃移动端多线程填表百度反馈工具V1.2
- 04-22通过Nginx配置增强网站安全性
- 04-22企业网站安全漏洞应对:从修复到增强全方位安全新举措
- 04-21搜狐号安全系统升级通知
- 04-18多线程批量查询链接收录情况(免代理)
- 04-09懒人开源站群程序V2.4.2:影视模板V2
- 04-03百家号批量发布软件V1.8.5
- 04-03百家号批量发布软件V1.7
- 04-03百家号批量发布软件V1.5
- 近期评论
- 文章归档
-
- 2024年4月 (5)
- 2024年3月 (6)
- 2024年1月 (2)
- 2023年12月 (4)
- 2023年11月 (2)
- 2023年10月 (7)
- 2023年9月 (24)
- 2023年8月 (6)
- 2023年7月 (20)
- 2023年6月 (13)
- 2023年5月 (26)
- 2023年4月 (48)
- 2023年3月 (27)
- 2023年2月 (15)
- 2023年1月 (11)
- 2022年12月 (16)
- 2022年11月 (7)
- 2022年10月 (33)
- 2022年9月 (45)
- 2022年8月 (18)
- 2022年7月 (23)
- 2022年6月 (24)
- 2022年5月 (10)
- 2022年4月 (54)
- 2022年3月 (68)
- 2022年2月 (3)
- 2022年1月 (4)
- 2021年12月 (27)
- 2021年11月 (20)
- 2021年10月 (4)
- 2021年9月 (22)
- 2021年8月 (71)
- 2021年7月 (4)
- 2021年6月 (17)
- 2021年5月 (28)
- 2021年4月 (1)
- 2021年3月 (39)
- 2021年1月 (8)
- 2020年12月 (31)
- 2020年11月 (15)
- 2020年10月 (50)
- 2020年9月 (114)
- 2020年8月 (63)
- 2020年7月 (30)
- 2020年6月 (50)
- 2020年5月 (127)
- 2020年4月 (83)
- 2020年3月 (92)
- 2020年2月 (82)
- 2020年1月 (18)
- 2019年12月 (79)
- 2019年11月 (16)
- 2019年10月 (35)
- 2019年9月 (3)
- 2017年12月 (1)
- 2017年11月 (203)
- 2017年10月 (155)
- 标签列表
- 站点信息
-
- 文章总数:2021
- 页面总数:7
- 分类总数:46
- 标签总数:340
- 评论总数:8891
- 浏览总数:5165013
本文暂时没有评论,来添加一个吧(●'◡'●)