本站所有内容仅限用于学习和研究目的,如有侵权请邮件与我们联系处理!
世上事本无难易,为之则易!

网站首页 蜘蛛池 蜘蛛池技术 正文

自用便于统计百度蜘蛛的php代码

曹操 2020-12-12 蜘蛛池技术 3702 ℃ 2 评论 1115字 free 收藏

分享一段统计百度蜘蛛的php,个人一直在用,简单使用效果好,便与分辨蜘蛛来路,实际上就是之前发到统计蜘蛛php的精简版。

好多人都想要类似于小旋风蜘蛛池的《模拟蜘蛛抓取零度站群蜘蛛统计程序》,不可否认界面更美观,也可以看到百度来访IP,但是个人用了一段时间后发现漏洞比较多,对于一些大流量网站使用起来非常卡,使得服务器反应过慢,甚至会因为蜘蛛抓取过多程序无法打开。

操作方法

在服务器根目录新建:spider.php,代码如下:

<?php
//php直接输出蜘蛛日志
function get_naps_bot()
{
$useragent = strtolower($_SERVER['HTTP_USER_AGENT']);

if (strpos($useragent, 'baiduspider') !== false){
	return 'Baidu';
}
return false;
}
function nowtime(){
	$date=gmdate("Y-n-j H:i:s",time()+8*3600);
	return $date;
}
$searchbot = get_naps_bot();
if ($searchbot) {
	$tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']);
	$url=$_SERVER['HTTP_HOST'] . $_SERVER['REQUEST_URI'];
	$file="spiderlogs.txt";//输出到根目录任意命名方便访问即可
	$time=nowtime();
	$data=fopen($file,"a");
	fwrite($data,"Time:$time robot:$searchbot URL:$url\n");
	fclose($data);
}
?>

在泛目录的index.php404.php中插入:

include'spider.php';

查看蜘蛛统计的话,访问:您的域名/spiderlogs.txt


Tags:网络爬虫蜘蛛池程序蜘蛛统计

必看说明

  • 本站中所有被研究的素材与信息全部来源于互联网,版权争议与本站无关。
  • 本站文章或仅为文本内容原创,非程序原创。如有侵权、不妥之处,请联系站长第一时间删除。敬请谅解!
  • 本站所有内容严格遵守国家法律的条例,所有研究的算法技术均来源于搜索引擎公开默认允许用户研究使用的接口。
  • 阅读本文及获取资源前,请确保您已充分阅读并理解《访问曹操SEO网站需知:行为准则》。
  • 本站分享的任何工具、程序仅供学习参考编写架构,仅可在本地的虚拟机内断网测试,严禁联网运行或上传搭建!
  • 任何资源必须在下载后24个小时内,从电脑中彻底删除。不得传播或者用于其他任何用途!否则一切后果用户自负!
  • 转载请注明 : 文章转载自  曹操SEO 自用便于统计百度蜘蛛的php代码
  • 本文标题:《自用便于统计百度蜘蛛的php代码》
  • 本文链接:https://www.ccooc.cn/1353.html

已有2位网友发表了看法:

欢迎 发表评论:

网站分类
近期评论
文章归档
标签列表
站点信息
  • 文章总数:2021
  • 页面总数:7
  • 分类总数:46
  • 标签总数:340
  • 评论总数:8895
  • 浏览总数:5175133