本站所有内容仅限用于学习和研究目的,如有侵权请邮件与我们联系处理!
世上事本无难易,为之则易!

网站首页 蜘蛛池 蜘蛛池技术 正文

分别统计百度PC蜘蛛和移动蜘蛛并输出txt的php代码

曹操 2022-09-14 蜘蛛池技术 188 ℃ 0 评论 1809字 free 收藏

以前分享过的记录百度蜘蛛抓取链接为txt的代码只能笼统的实现百度蜘蛛的记录,不能区分百度PC蜘蛛和移动蜘蛛。

现在越来越多的人说百度PC蜘蛛不收录,要移动蜘蛛才行,所以特意编写了这段代码,本代码可区别判断百度PC蜘蛛和移动蜘蛛

其实核心是对百度蜘蛛是移动还是PC标识的判断,不过一个IF判断而已。

有了这个判断,我们还可以进行延伸,比如写PHP控制屏蔽百度PC蜘蛛抓取,只要百度移动蜘蛛抓取的代码。

好了废话不多说,直接看代码。

<?php
//php直接输出蜘蛛日志
function get_naps_bot()
{
//获取用户UA并转换为小写
$tlc_thispage = strtolower($_SERVER['HTTP_USER_AGENT']);
if (strpos($tlc_thispage, 'baiduspider') !== false){
	return 'Baidu';
}
    return false;
}
//获取当前时间
function nowtime(){
	$date=gmdate("Y-n-j H:i:s",time()+8*3600);
	return $date;
}
$searchbot = get_naps_bot();
if ($searchbot) {
	//对页面UA进行处理,它主要是对所有的 GET、POST 和 COOKIE 数据自动运行 addslashes()
	$useragent = strtolower(addslashes($_SERVER['HTTP_USER_AGENT']));
    $url=$_SERVER['REQUEST_SCHEME'].'://'.$_SERVER['HTTP_HOST'].$_SERVER['REQUEST_URI'];
    if(strpos($useragent,"android") || strpos($useragent,"iphone") || strpos($useragent,"mobile")){
        $file="Baidu-Mobile-Spiderlogs.txt";//如果是百度移动蜘蛛,输出到根目录任意命名方便访问即可
    }else{
        $file="Baidu-Pc-Spiderlogs.txt";//如果是百度PC动蜘蛛,输出到根目录任意命名方便访问即可
    }
	$time=nowtime();//获取当前时间
	$data=fopen($file,"a");
	fwrite($data,"Time:$time robot:$searchbot URL:$url\n");//输出日志
	fclose($data);
}
?>

在上面的代码中,为记录UA的含义,以前我们分享过的输出蜘蛛统计代码都用用到,但实际并未调用。

addslashes($_SERVER['HTTP_USER_AGENT'])

其输出的结果如图所示:

分别统计百度PC蜘蛛和移动蜘蛛并输出txt的php代码-第1张图片

为了防止小白看不懂,已经特意做了注释,只要是个人基本上都能看明白。

有时间将会将上述代码加入到蜘蛛统计插件中去,这样更加美观。


Tags:百度移动蜘蛛百度蜘蛛池蜘蛛爬虫蜘蛛统计

必看说明

  • 本站中所有被研究的素材与信息全部来源于互联网,版权争议与本站无关。
  • 本站文章或仅为文本内容原创,非程序原创。如有侵权、不妥之处,请联系站长第一时间删除。敬请谅解!
  • 本站所有内容严格遵守国家法律的条例,所有研究的算法技术均来源于搜索引擎公开默认允许用户研究使用的接口。
  • 本站分享的任何工具、程序仅供学习参考编写架构,仅可在本地的虚拟机内断网测试,严禁联网运行或上传搭建!
  • 任何资源必须在下载后24个小时内,从电脑中彻底删除。不得传播或者用于其他任何用途!否则一切后果用户自负!
  • 转载请注明 : 文章转载自  曹操SEO 分别统计百度PC蜘蛛和移动蜘蛛并输出txt的php代码
  • 本文标题:《分别统计百度PC蜘蛛和移动蜘蛛并输出txt的php代码》
  • 本文链接:https://www.ccooc.cn/1771.html

本文暂时没有评论,来添加一个吧(●'◡'●)

欢迎 发表评论:

网站分类
近期评论
文章归档
标签列表
站点信息
  • 文章总数:1809
  • 页面总数:7
  • 分类总数:46
  • 标签总数:359
  • 评论总数:5457
  • 浏览总数:4249198