本站所有内容仅限用于学习和研究目的,如有侵权请邮件与我们联系处理!
世上事本无难易,为之则易!

网站首页 站群工具 爬虫抓取工具 正文

搜狗泛目录推送网络爬虫工具

曹操 2021-11-25 爬虫抓取工具 2228 ℃ 3 评论 1319字 free 收藏

本工具和之前发布的泛域名推送工具如出一辙,区别是上一款工具只能推送泛域名,这款工具可以推送泛域名+泛域名。

注意不是泛域名和泛目录,是泛域名+泛目录,因为必须得推送带后缀的目录才行!光推送域名是不行的,两款程序的界面类似但原理不同。

这款工具和之前的一款工具是一样的,一条链接必须多次推送才能实现有蜘蛛过去的效果,所以常规情况下我们仅仅推送带www的主域名加泛目录。

重要告知

阅读本文中之前,请确保已阅读《关于“爬虫抓取工具”分类必看说明》,并充分理解其含义。

重要提示:所有相关软件已经失效,除了白白消耗代理IP、浪费电力、消耗计算机寿命以外,没有其他任何作用!

严正申明:目前测试的蜘蛛池已删站并销毁服务器,测试的域名已停止解析并过期未注册!此程序已在本人计算机中删除,且为防止软件存在的隐患,特将测试软件用的机器一并销毁!本站不出售软件,不提供销售渠道,请勿骚扰!

程序截图

搜狗泛目录推送网络爬虫工具-第1张图片

使用说明

为方便群控管理,程序目前已经设置为10秒后自动执行,此时间内我们需要进行下述操作。

下面我们依次介绍程序右侧的“配置中心”区域,

首先是“关键词配置”文本选择框,我们这里写入txt文本格式的关键词路径,一行一个,编码是utf-8格式,可以点击下方的“运行日志”中的“提示关键词”显示目前使用的部分关键词,以用来核查关键词是否成功导入以及关键词编码格式是否正确。

在“泛域名配置”中,我们可以输入本程序要发包的泛域名格式,目前支持标签格式,支持的标签如上图所示,支持[字符5]、[字母5]、[数字5]

在“泛域名生成数”中,我们设置每次发包操作时发出包内生成的域名的数量。

在“浏览器UA配置”中,我们调用的文件为任意UA,一行一条;

在“泛域名配置”中,我们可以设置固定的泛域名的前缀文本文件的路径,即使用自定义的文本文件内的随即行作为推送的链接前缀。

紧随其后有四个选择框,我们可以通过勾选,选择推送的域名的方式,分别i是:“推送主域名”、“带www推送”“推送泛域名”、“推送导入泛域名

值得注意的这里和泛域名推送工具的区别,泛域名里面的“推送主域名”指的是:推送www域名及@域名,而这里我们为了方便泛目录的推送,将主域名(即根域名)和我们常用的www域名分开了。

在下方的控制中心中,当我们勾选“使用本地IP”时,使用本地IP进行推送,当我们勾选使用“自动适配IP”时,我们则需要填写好代理API。通长情况下我们都是用此模式。

后面的工作线程数不用多说,目前测试的4G4H都是开到100线程挂机跑。

运行日志”是显示程序的运行状态,不过程序默认勾选“拒绝显示”,因为高频率的显示运行日志会对服务器处理发包的性能有所降低。

泛目录推送特有功能

上面讲述的功能基本上和泛域名推送工具功能是类似的,下面我们来讲一下泛目录推送工具的特有功能。

我们看到本软件有泛目录设置文本输入框,此处支持的标签有:[年]、[月]、[日]、[字符5]、[字母5]、[数字5]

后面有:每个IP使用几次的功能,这只要是个人就能看懂。

动图演示

搜狗泛目录推送网络爬虫工具-第2张图片

所见即所得

全套资料包括原理讲解、制作思路以及4个历史版本。

搜狗泛目录推送网络爬虫工具-第3张图片

目录导航
  • 重要告知
  • 程序截图
  • 使用说明
    • 泛目录推送特有功能
    • 动图演示
  • 所见即所得

  • Tags:搜狗收录搜狗推送工具搜狗爬虫抓取搜狗网络爬虫搜狗推送软件泛域名蜘蛛域名后缀域名

    必看说明

    • 本站中所有被研究的素材与信息全部来源于互联网,版权争议与本站无关。
    • 本站文章或仅为文本内容原创,非程序原创。如有侵权、不妥之处,请联系站长第一时间删除。敬请谅解!
    • 本站所有内容严格遵守国家法律的条例,所有研究的算法技术均来源于搜索引擎公开默认允许用户研究使用的接口。
    • 阅读本文及获取资源前,请确保您已充分阅读并理解《访问曹操SEO网站需知:行为准则》。
    • 本站分享的任何工具、程序仅供学习参考编写架构,仅可在本地的虚拟机内断网测试,严禁联网运行或上传搭建!
    • 任何资源必须在下载后24个小时内,从电脑中彻底删除。不得传播或者用于其他任何用途!否则一切后果用户自负!
    • 转载请注明 : 文章转载自  曹操SEO 搜狗泛目录推送网络爬虫工具
    • 本文标题:《搜狗泛目录推送网络爬虫工具》
    • 本文链接:https://www.ccooc.cn/1601.html

    已有3位网友发表了看法:

    • 访客

      访客  评论于 [2022-12-15 19:35:21]  回复

      很好,借鉴一下,谢谢大神

    欢迎 发表评论:

    网站分类
    近期评论
    文章归档
    标签列表
    站点信息
    • 文章总数:2018
    • 页面总数:7
    • 分类总数:46
    • 标签总数:339
    • 评论总数:8848
    • 浏览总数:5149332