本站所有内容仅限用于学习和研究目的,如有侵权请邮件与我们联系处理!
世上事本无难易,为之则易!

网站首页 站群工具 强引蜘蛛工具 正文

2022年9月初强引百度蜘蛛经验及总结

曹操 2022-09-10 强引蜘蛛工具 666 ℃ 1 评论 1180字 free 收藏

这几个月有那啥百度投诉强引蜘蛛工具,约在8月份就拿来了一份,但因为最近一两年被光来蜘蛛不收录的工具搞怕了,所以没有第一时间测试,一直闲置。

听朋友说引蜘蛛后在10天左右出现收录,20天左右大量收录,所以咱也来测试一下。

严正申明:目前测试的蜘蛛池已删站,测试的域名已停止解析!此程序已在本人计算机中删除!本站不出售软件,不提供销售渠道,请勿骚扰!

测试环境

网站环境

10条备案域名,价格约在800~1200;

16H服务器,800G空间;

小旋风蜘蛛池X系列+超度小说模型;

发包环境

1.4H8G10M配置win服务器10台;

2.秒提200IP日不限量套餐,白名单10个;

测试进程

蜘蛛池数量表一

2022年9月初强引百度蜘蛛经验及总结-第1张图片

蜘蛛池数量表二

2022年9月初强引百度蜘蛛经验及总结-第2张图片

收录情况

2022年9月初强引百度蜘蛛经验及总结-第3张图片

事件记录

1.20220904:配置好蜘蛛池环境,检测主域名、泛域名均能访问;

2.20220905:5台服务器+代理IP开始推送,半天实现蜘蛛23W+;

3.20220906:5台服务器+代理IP推送,全天蜘蛛近79W;

4.20220907:10台服务器+代理IP推送,蜘蛛密度太高,服务器配置不够,导致服务器崩溃,更换服务器,耽误太多时间蜘蛛仅剩下35.8W,并测试泛域名,发现有日收泛二级;

5.20220908:10台服务器+代理IP推送,服务器配置跟上了,日百度蜘蛛过百万,达到1155554,泛域名持续少量收录;

6.20220909:10台服务器+代理IP推送,泛二级依旧少量收录,于当晚8点停止推送,以便观测停止推送后蜘蛛情况,用于考虑延迟。

7.20220910:无推送,蜘蛛于4小时候达到顶峰并陆续介绍,在上午6点(约10小时后)接近于无,但查看详细log中抓取url的可见有3天前推送的标识。

强引蜘蛛结论

经验总结

推送蜘蛛延迟约为4~10小时,即最快4小时内来蜘蛛;如果停止推送,最慢10小时无蜘蛛(零星蜘蛛延迟不算);

1台服务器无多开情况下推送蜘蛛后实际抓取数量约在10W左右;

推送泛目录暂时未见收录,推送泛域名收录的是推送后的泛域名的内页链接,即未收录直接推送的链接,而是收录了蜘蛛抓取后该链接的内页链接,相当于起到引导的作用;

未考虑的情况

由于资金有限,没有测试更高质量的域名,没有测试权重站二级目录,尚不清楚高质量域名、高质量站点目录有没有更好的收录效果;

由于物料不足,推送过程中使用的cookie并非100%存活,经检测存活率约为2.5%,后期有机会使用100%存活cookie再次测试;

由于时间有限,尚不清楚后期是否会收录推送的泛内页及泛二级域名;

由于资源有限,只能肯定收录的泛二级内页是推送后的泛二级域名产生的泛二级内页链接,但不清楚推送泛二级域名与收录泛二级内页两者间的必然联系。

目录导航
  • 测试环境
      • 网站环境
      • 发包环境
  • 测试进程
      • 蜘蛛池数量表一
      • 蜘蛛池数量表二
      • 收录情况
      • 事件记录
  • 强引蜘蛛结论
      • 经验总结
      • 未考虑的情况

  • Tags:强引蜘蛛引蜘蛛工具超度小说

    必看说明

    • 本站中所有被研究的素材与信息全部来源于互联网,版权争议与本站无关。
    • 本站文章或仅为文本内容原创,非程序原创。如有侵权、不妥之处,请联系站长第一时间删除。敬请谅解!
    • 本站所有内容严格遵守国家法律的条例,所有研究的算法技术均来源于搜索引擎公开默认允许用户研究使用的接口。
    • 本站分享的任何工具、程序仅供学习参考编写架构,仅可在本地的虚拟机内断网测试,严禁联网运行或上传搭建!
    • 任何资源必须在下载后24个小时内,从电脑中彻底删除。不得传播或者用于其他任何用途!否则一切后果用户自负!
    • 转载请注明 : 文章转载自  曹操SEO 2022年9月初强引百度蜘蛛经验及总结
    • 本文标题:《2022年9月初强引百度蜘蛛经验及总结》
    • 本文链接:https://www.ccooc.cn/1768.html

    已有1位网友发表了看法:

    欢迎 发表评论:

    网站分类
    近期评论
    文章归档
    标签列表
    站点信息
    • 文章总数:1809
    • 页面总数:7
    • 分类总数:46
    • 标签总数:359
    • 评论总数:5457
    • 浏览总数:4249198