SEO页面和爬虫监控与调整

2017-08-23 zhangli 0 0 阅读需要2-5分钟

  一些基层SEO针对爬虫日志,也没有足够的分析能力,或者需要每天手动拿软件或shell等分析一次数据,然后在执行的SEO动作,操作复杂且效率低下。

  为解决以上两点问题,需要有一套“及时止损机制”,用于及时发现潜在风险,并提高日常SEO效率。

  “及时止损机制”,需要人工设定N个会影响SEO的特征,程序24小时监控这些特征,如出现符合特征的元素,则及时通知SEO,并提示相应建议,程序每次检查都做一次数据备份。并根据网站发展情况,不断添加、删除监控特征。

  上图为“爬虫日志监控模块”的逻辑,分“检查字段”、“触发条件”、“执行动作”三个步骤。以下是几点可能需要说明的:

  爬虫IP的黑白名单根据UA为baiduspider的爬虫,检测IP是否为真实的Baiduspider,若为假spider,则加入黑名单,若为真spider,则加入baiduspider的白名单。其他主流搜索引擎,则将出现的ip统统加到对应的白名单,后期根据ip段进行排除。收集白名单IP,可作为日后SEO之用,比如某个SEO的小需求产品不让上,SEO退而求其次,只针对白名单的IP显示该元素,对正常用户访问不显示等。

  提前整理站内已知页面提前统计站内所有URL类型,并整理对应URL类型的正则表达式,这些正则均是统计站内已知页面的爬虫情况。因为大部分SEO包括产品经理,可能都不清除站内到底有多少套URL,所以也有必要通过日志,找到未知的URL,并进行相应的SEO动作。

  返回内容大小字段统计为啥要统计“$body_bytes_sent(发给来访者的文件大小)”这个字段呢?因为之前经历过几次类似情况:某类页面流量逐减少,经排查爬虫日志,360Spider访问部分该页面,返回的文件大小为54k,并不是该页面html文件的正常大小,询问技术,发现不久上线的新反爬虫策略,未把360Spider加入白名单,导致触发反爬虫策略,返回空白页面。

页面特征监控

针对模板监控页面,是因为网站可能存在一套URL有N套模板的情况,其他需求方可能只更改了其中一个模板。

相关标签

  • 网站文章阅读时长JS代码

    <div class="T-time">您阅读这篇文章共花了:<span class="T-time" id="stime"></span></div><script language="JavaScript">var ss=0,mm=0,hh=0;function TimeGo(){ss++;if

  • 《百度搜索页面质量标准》

    为了帮助广大开发者们生产优质的内容页面,获得更多搜索用户的青睐,我们特地发布了《百度搜索页面质量标准》,对优质内容标准进行了重新定义。并基于优质内容的特征,拆解不同的场景和资源类型,给出了更加详细具体的页面质量标准。开发者们可以通过标准不断丰富自己的内容,优化页面质量,获得更多权益。

  • 免费网站seo在线工具网址大全

    为了做网站优化更加方便,特别收集了下面这些在线优化工具,有了他们可以更好的辅助你做好网站优化工作。关键字挖掘工具: (1)5118在线关键字挖掘工具需要注册,免费版本智能挖掘100

  • 百度优化之品牌主页的排名弱于品牌介绍页面干货分析

    我有一个网站网站里每个品牌都有品牌主页(品牌关键字锚文本指向的页面),品牌介绍,品牌导购,品牌图片,品牌视频,品牌网店,品牌产品,品牌专柜,品牌网店,品牌真假,这些页面所有的标题title都是品牌名开头的,但是我发现大量品牌词排名最好的页面往往都是出现在品牌介绍页面里,少量会出现在品牌主页里。

  • Google搜索Your page is not mobile-friendly问题分析和解决方案

    Your page is not mobile-friendly。  个人的行业门户网站美容仪之家在百度里面site:www.imeirongyi.com后,google的搜索结果提示如下图所示,所有页面搜索结果页面下面都有

  • 百度和360搜索引擎智能摘要

      现在的搜索引擎在搜索后会有各种形式的信息展现方式,如下图,而要获得这些智能 的摘要方式,自然需要提交不同的文件,目前百度和360已经开放了,今天我们就要介绍下这个智能摘要

  • 火车头采集器标签内容替换功能

    火车头常规的有一个内容替换功能,就是设定好一个个要替换和被替换的词,程序会帮你去替换,但是其实还有更高级的标签替换功能:

  • 火车头采集器7.6版本自动退出的解决方法

    解决火车头采集器7.6版本自动退出的解决方法,核心原因是它有一个自动连接远程服务器校验的功能,所以当它无法叫研究会自动关闭。

  • SEO工具之firefox优化SEO插件

    章力下面介绍一些firefox优化SEO插件,firefox不但是做网站的好工具,也是做优化的好工具,它跟WordPress一样,拥有非常丰富的插件与扩展,只要你能想到的功能,就有人能够帮你实现。

  • REL NOFOLLOW标签用法和含义

    什么是rel nofollow标签呢?如何使用rel nofollow标签?Google发现超链接中含有该属性(“rel=nofollow”),这类链接不会被作为某站点在搜索结果排名中的评价依据

  • 百度排名优化关键字优化方案

      最近看了一些大型网站的优化技术,研究了一下,发现确实厉害所有关键字都是百度第2(百度自家产品有啊第1),非常稳定,,所以也想实战一下他们的优化方案的效果如何,是否能使用在中

  • 如何博客养站 打造高质量博客外链

      博客养站是广大SEOer中较为常用且投入低廉的一种操作手段,博客养站的原理也很简单,就是利用博客给网站输送高质量且稳定的外链和锚文本链接,以期达到影响搜索引擎排名的效

  • 《百度搜索页面质量标准》

    为了帮助广大开发者们生产优质的内容页面,获得更多搜索用户的青睐,我们特地发布了《百度搜索页面质量标准》,对优质内容标准进行了重新定义。并基于优质内容的特征,拆解不同的场景和资源类型,给出了更加详细具体的页面质量标准。开发者们可以通过标准不断丰富自己的内容,优化页面质量,获得更多权益。

  • 百度优化之品牌主页的排名弱于品牌介绍页面干货分析

    我有一个网站网站里每个品牌都有品牌主页(品牌关键字锚文本指向的页面),品牌介绍,品牌导购,品牌图片,品牌视频,品牌网店,品牌产品,品牌专柜,品牌网店,品牌真假,这些页面所有的标题title都是品牌名开头的,但是我发现大量品牌词排名最好的页面往往都是出现在品牌介绍页面里,少量会出现在品牌主页里。

  • 网站URL优化技巧域名、结构、相关性

      网站URL的优化也是网站优化中的一部分,网站优化就是要掌握和优化好网站的每个细节,这样才能最后获得最好的优化结果。但是想在很多朋友在优化中 都忽视了这一点URL的优化,

  • 如何提高网站权重的要素

      网站权重是什么呢,我们又该如何提高网站权重,它的要素又在那里呢?  章力认为提高网站权重大小其实多数时候都是可以人为控制的,侧重点在于页面的链接!针对与一个网站来说

  • 如何做好网站反向链接技巧和注意事项

      反向链接,对于做seo的人来说做是在网站推广时经常谈的一个话题,好的反向链接可以让你的网站有很好的排名,同时可以改变很多东西。章力对网站排名研究的比较多,趁着这个机会,

  • 免费网站seo在线工具网址大全

    为了做网站优化更加方便,特别收集了下面这些在线优化工具,有了他们可以更好的辅助你做好网站优化工作。关键字挖掘工具: (1)5118在线关键字挖掘工具需要注册,免费版本智能挖掘100

  • 网站文章阅读时长JS代码

    <div class="T-time">您阅读这篇文章共花了:<span class="T-time" id="stime"></span></div><script language="JavaScript">var ss=0,mm=0,hh=0;function TimeGo(){ss++;if

  • 搜索引擎蜘蛛Spider的分类

    搜索引擎Spider的分类,按照现在网络上所有Spider的作用,其表现出来的特征,可以将其分为三类。批量性Spider,增量性Spider和垂直性Spider。

  • SEO学习到淘宝推广学习总结

      今天刚百度了"杭州seo"这个词,查看了2页都没有了排名,最终在第27位找了排名,记得上次查看这个词的排名还在第11位,真是感叹不进则退,同时也反映这个词的竞争激烈,多少竞争对手

  • SEOER行业现状感慨

    做了2个月的SEO生意了,加上最近一直想换个好的单位,能整整有发挥空间和学习进步的公司,面试了N家后,感慨万分。

  • 网站SEO优化标准 让网站更符合搜索引擎规则

    【新建页面URL层级<=4】一般新建未来具有搜索流量捕获能力的,均由SEO来设计url路径规则。 【禁用iframe框架、异步、flash、javascript等源码中无法显示具体内容的加载方式】

  • seo关键字优化和用户需求的分析

    百度排名中现在非常的弱化外链,而是用户的体验式百度现在最为关注的,同时也是影响排名的一个很重要的因素,所以对于SEO来说,需要了解用户的体验,满足他们的需求才能更好的做好排名,而不是整体在发外链。

TOP