首页 > 网站优化

如何正确的识别百度蜘蛛Baiduspider

2017-09-25 zhangli 0 0 阅读需要2-5分钟

　　经常听到站长们问，百度蜘蛛是什么?最近百度蜘蛛来的太频繁服务器抓爆了，最近百度蜘蛛都不来了怎么办，还有很多站点想得到百度蜘蛛的IP段，想把IP加入白名单，但IP不固定，我们无法对外公布。

那怎么才能识别正确的百度蜘蛛呢？来来来，只需两步，教你正确识别百度蜘蛛

1、查看UA，如果UA都不对，可以直接判断非百度搜索的蜘蛛，目前对外公布过的UA是：

移动

　　:Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

PC UA

　　:Mozilla/5.0 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

新增渲染UA:

移动UA

　　：Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

PC UA

　　：Mozilla/5.0 (compatible;Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

2、反查IP

　　站长可以通过DNS反查IP的方式判断某只spider是否来自百度搜索引擎。根据平台不同验证方法不同，如linux/windows/os三种平台下的验证方法分别如下：

*.baidu.com

　　1)、在linux平台下，您可以使用hostip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以或的格式命名，非*.baidu.com或*.baidu.jp即为冒充。

*.baidu.com

　　2)、在windows平台或者IBMOS/2平台下，您可以使用nslookupip命令反解ip来判断是否来自Baiduspider的抓取。打开命令处理器输入nslookupxxx.xxx.xxx.xxx(IP地址)就能解析ip，来判断是否来自Baiduspider的抓取，Baiduspider的hostname以或的格式命名，非*.baidu.com或*.baidu.jp即为冒充。

*.baidu.com

　　3)、 在macos平台下，您可以使用dig命令反解ip来判断是否来自Baiduspider的抓取。打开命令处理器输入digxxx.xxx.xxx.xxx(IP地址)就能解析ip，来判断是否来自Baiduspider的抓取，Baiduspider的hostname以或的格式命名，非*.baidu.com或*.baidu.jp即为冒充

点赞 () 收藏 4

相关标签

相关文章

网站日志百度蜘蛛分析之状态码200 301 404

网站日志百度蜘蛛分析之状态码200 301 404

2016-01-09

  • 网站文章阅读时长JS代码

    <div class="T-time">您阅读这篇文章共花了:<span class="T-time" id="stime"></span></div><script language="JavaScript">var ss=0,mm=0,hh=0;function TimeGo(){ss++;if

  • 《百度搜索页面质量标准》

    为了帮助广大开发者们生产优质的内容页面，获得更多搜索用户的青睐，我们特地发布了《百度搜索页面质量标准》，对优质内容标准进行了重新定义。并基于优质内容的特征，拆解不同的场景和资源类型，给出了更加详细具体的页面质量标准。开发者们可以通过标准不断丰富自己的内容，优化页面质量，获得更多权益。

  • 免费网站seo在线工具网址大全

    为了做网站优化更加方便，特别收集了下面这些在线优化工具，有了他们可以更好的辅助你做好网站优化工作。关键字挖掘工具： （1）5118在线关键字挖掘工具需要注册，免费版本智能挖掘100

  • 百度优化之品牌主页的排名弱于品牌介绍页面干货分析

    我有一个网站网站里每个品牌都有品牌主页(品牌关键字锚文本指向的页面)，品牌介绍，品牌导购，品牌图片，品牌视频，品牌网店，品牌产品，品牌专柜，品牌网店，品牌真假，这些页面所有的标题title都是品牌名开头的，但是我发现大量品牌词排名最好的页面往往都是出现在品牌介绍页面里，少量会出现在品牌主页里。

  • Google搜索Your page is not mobile-friendly问题分析和解决方案

    Your page is not mobile-friendly。　　个人的行业门户网站美容仪之家在百度里面site:www.imeirongyi.com后，google的搜索结果提示如下图所示，所有页面搜索结果页面下面都有

  • 百度和360搜索引擎智能摘要

    　　现在的搜索引擎在搜索后会有各种形式的信息展现方式，如下图，而要获得这些智能 的摘要方式，自然需要提交不同的文件，目前百度和360已经开放了，今天我们就要介绍下这个智能摘要

  • 火车头采集器标签内容替换功能

    火车头常规的有一个内容替换功能，就是设定好一个个要替换和被替换的词，程序会帮你去替换，但是其实还有更高级的标签替换功能：

  • 火车头采集器7.6版本自动退出的解决方法

    解决火车头采集器7.6版本自动退出的解决方法，核心原因是它有一个自动连接远程服务器校验的功能，所以当它无法叫研究会自动关闭。

  • SEO工具之firefox优化SEO插件

    章力下面介绍一些firefox优化SEO插件，firefox不但是做网站的好工具，也是做优化的好工具，它跟WordPress一样，拥有非常丰富的插件与扩展，只要你能想到的功能，就有人能够帮你实现。

  • REL NOFOLLOW标签用法和含义

    什么是rel nofollow标签呢?如何使用rel nofollow标签?Google发现超链接中含有该属性(“rel=nofollow”)，这类链接不会被作为某站点在搜索结果排名中的评价依据

  • 百度排名优化关键字优化方案

    　　最近看了一些大型网站的优化技术，研究了一下，发现确实厉害所有关键字都是百度第2(百度自家产品有啊第1)，非常稳定，，所以也想实战一下他们的优化方案的效果如何，是否能使用在中

  • 如何博客养站 打造高质量博客外链

    　　博客养站是广大SEOer中较为常用且投入低廉的一种操作手段，博客养站的原理也很简单，就是利用博客给网站输送高质量且稳定的外链和锚文本链接，以期达到影响搜索引擎排名的效

  • 《百度搜索页面质量标准》

    为了帮助广大开发者们生产优质的内容页面，获得更多搜索用户的青睐，我们特地发布了《百度搜索页面质量标准》，对优质内容标准进行了重新定义。并基于优质内容的特征，拆解不同的场景和资源类型，给出了更加详细具体的页面质量标准。开发者们可以通过标准不断丰富自己的内容，优化页面质量，获得更多权益。

  • 百度优化之品牌主页的排名弱于品牌介绍页面干货分析

    我有一个网站网站里每个品牌都有品牌主页(品牌关键字锚文本指向的页面)，品牌介绍，品牌导购，品牌图片，品牌视频，品牌网店，品牌产品，品牌专柜，品牌网店，品牌真假，这些页面所有的标题title都是品牌名开头的，但是我发现大量品牌词排名最好的页面往往都是出现在品牌介绍页面里，少量会出现在品牌主页里。

  • 网站URL优化技巧域名、结构、相关性

    　　网站URL的优化也是网站优化中的一部分，网站优化就是要掌握和优化好网站的每个细节，这样才能最后获得最好的优化结果。但是想在很多朋友在优化中 都忽视了这一点URL的优化，

  • 如何提高网站权重的要素

    　　网站权重是什么呢，我们又该如何提高网站权重，它的要素又在那里呢?　　章力认为提高网站权重大小其实多数时候都是可以人为控制的，侧重点在于页面的链接!针对与一个网站来说

  • 如何做好网站反向链接技巧和注意事项

    　　反向链接，对于做seo的人来说做是在网站推广时经常谈的一个话题，好的反向链接可以让你的网站有很好的排名，同时可以改变很多东西。章力对网站排名研究的比较多，趁着这个机会，

  • 免费网站seo在线工具网址大全

    为了做网站优化更加方便，特别收集了下面这些在线优化工具，有了他们可以更好的辅助你做好网站优化工作。关键字挖掘工具： （1）5118在线关键字挖掘工具需要注册，免费版本智能挖掘100

  • Canonical标签什么意思和SEO使用方法详解

    百度对Canonical标签的介绍为“对一组内容完全相同，或者高度相似的网页。通过使用Canonical标签可以告诉搜索引擎，哪个页面为规范的网页?能够规范网址，并避免搜索结果中出现多个内容相同或相似的页面，帮助解决重复内容的收录问题。

  • 百度《搜索引擎优化指南》分析解密介绍

    　　8月14日，百度公司发起成立了“互联网创业者俱乐部”，并发布首份《搜索引擎优化指南》。刚仔细看了下发布的百度今日发布的《百度搜索引擎优化指南v1.0》，虽然只

  • 浅谈“黑链”和“黄金链”

    章力发现黑链接，黄金链，最近推广非常流行的词，现在很多网站为了最快程度的提高网站的权重和PR值，都开始采用在一些网站上挂大量的黑链，以及购买一些“黄金链”。

  • 网站标题、关键字和描述怎么优化

    1个好的网站标题、关键字和描述能让网站获得好的排名，更加获得搜索引擎的青睐，也就能为你从搜索引擎获得更多的网站流量，那么如何对一个网站的网站标题、关键字和描述进行优化

  • 网站文章阅读时长JS代码

    <div class="T-time">您阅读这篇文章共花了:<span class="T-time" id="stime"></span></div><script language="JavaScript">var ss=0,mm=0,hh=0;function TimeGo(){ss++;if

  • seo关键字研究和定位

    关键词研究是SEO工作中不可，缺少的重要环节。有不少网站拥有较多优质的内，资源，但确因关键词定位不准确，而不能获得精准流量有限战场总以为自己网站定位过于精细，没有太多的关键词可以优化，不知道，我如何扩展，关键的是，有些网站一种自己网站的高权重。

热门信息

全部排行

热门标签

wordpress 长尾关键字 百度快照 百度联盟 spider 百度排名优化 网站关键字 移动搜索优化 百度排名算法 用户需求 火车头采集器 网站关键词 长尾关键词 网站权重 网站日志 友情链接 robots.txt 关键词挖掘 百度蜘蛛 nofollow标签

分类标签

#帝国cms灵动标签

9篇细节

#wdcp

5篇细节

#adsense

5篇细节

#wordpress

5篇细节

#软文

4篇细节

#长尾关键字

4篇细节

#搜索引擎蜘蛛

3篇细节

#https

3篇细节

#老鹰主机

3篇细节

#百度联盟

3篇细节

#网站关键词

2篇细节

#spider

2篇细节

目录

广告

关于我们

大章力10年来专注于互联网网络营销(SEM、SEO、企业和行业网站建设、网站前端、帝国cms等)和电商电商运营推广(淘宝天猫运营、推广营销、会员营销、产品策划、行业分析)研究。

功能页面

热门栏目

热门频道

网站数据

  • 404篇文章
  • 0 个专题
  • 59 个标签
  • 始建于2010年5月
Copyright © 2010-2020 大章力 浙ICP备17006130号-14
TOP