广告位联系
返回顶部
分享到

百度的致命抓取异常!你重视过吗?

网站运营 来源:A5创业网 作者:秩名 发布时间:2020-02-20 18:03:43 人浏览
摘要

在这些年的SEO诊断中,我这里发现不低于20%的网站都存在着一个严重的抓取问题,但是奇怪的是,却始终得不到大多数人的重视。而研究透彻并分享这个问题的人,更是没有发现。今天这篇文章,我们就来看一下这个问题。 什么问题呢? 连接超时,或者抓取超时,如果

在这些年的SEO诊断中,我这里发现不低于20%的网站都存在着一个严重的抓取问题,但是奇怪的是,却始终得不到大多数人的重视。而研究透彻并分享这个问题的人,更是没有发现。今天这篇文章,我们就来看一下这个问题。

什么问题呢?

连接超时,或者抓取超时,如果你的网站出现过这个问题,至今没有处理到位的,就把这篇文章转载一下吧。

很多人说,不就是几十次的超时吗?有什么大不了的,如果这样认为,那么真的是活该网站做不好了,正常的网站是什么样的呢?我们来举个例子:

这是一个权重4的站点,哪怕十多万次的抓取,却仍旧没有出现过一次的抓取错误!如果你的每日抓取错误量超过10次(十天半个月就出现一次错误,或者连续多天出现的),就真的应该严肃处理一下这个问题了,因为当前问题的存在,已经长期的制约了网站的发展上限,甚至因为这个问题,诱发网站的降权,都一点不奇怪。

为什么会出错?

有人说,不用理会,这就是一个BUG,因为我在网站的LOG日志中,并没有发现这个问题。之前在百度站长的VIP群里,有人这样解释过。但是我想说的是:百度无法抓取到网站,你的网站LOG日志,能统计到这样的错误吗?所以,上述解释是完全说不过去的。

那么,为什么会出现这样的错误呢?

A,DNS问题,无论是蜘蛛还是用户访问网站,首先就需要域名的DNS做了正确的解析,然而解析是解析了,你能确定DNS真的稳定吗?不少站点的错误,正是因为DNS不稳定而造成的。尤其是那些又做域名注册,又搞‘域名抢注’的平台,这样的平台,更容易出现DNS解析不稳定的情况,尤其是在抢注高峰期。具体哪些品牌,这个就不点名了,如果你的域名在这些平台中,贺贵江强烈建议你将其转出。

B,页面太大,有一些网站的部分页面达到了四五六七八兆的情况,甚至还见过极少的网站出现过一个页面有10MB大小。这样的页面,更容易出现链接超时。正常情况,并不建议网站的页面大小超过3MB,同时建议网站服务器启用GZIP压缩。

C,带宽不足,这是一个很常见的情况,不少站点出现链接超时都是因为带宽不足而引发的。我们知道1M的带宽峰值下载是128KB,如果网站是1M接入,页面大小是256KB,如果同时2个人在打开页面,那么就需要4秒才可以下载完毕。如果带宽是2MB,页面大小是1024KB,一个人打开网站需要8秒,可如果是10个人同时打开呢?所以带宽这里,一定要做足。站长或者企业都应当观察一下站点的平均带宽,以及峰值带宽情况,如果经常出现‘带宽峰值’类型的访问,那么就一定要升级带宽了。

D,首字节时间,可能很多同学没有听说过这个问题,它指的是从发送请求到WEB服务器的时间+WEB服务器处理请求并生成响应花费的时间。有一些站点,首字节时间居然都可以达到5MS,这样的情况,网站还能正常吗?

1、对于首字节时间这里,我们应当注意:避免网站与其他网站共享同一个服务器其他网站会占用自身网站服务器处理时间。

2、CDN减少内容和访问者之间的“距离”将静态内容分发到CDN,CDN的内容自动复制到各个位置,在地理上更接近用户,从而减少TTFB的时间。注意的是,已定要设置‘缓存时间’针对于网站访问较慢的页面或栏目。

3、避免网站使用虚拟主机系统如网站在一段时间未有流量产生,系统会推迟或暂停虚拟服务器,当新访客进入时,将重新进行服务器备份处理(10s或更长时间);

4、后端优化软件性能减少服务器生成的响应到浏览器的时间,比如:操作码缓存、服务器端缓存、本地缓存、W3总缓存等。

最后,我们总结一下:

首先是为网站找一家靠谱的DNS服务商,我们建议是阿里云,其次是稳定的CDN服务商,阿里、百度智能云、腾讯云,都可以。最后就是网站服务器,尽量不要选择使用虚拟主机,且尽量避免多个站点使用相同服务器。

作者:贺贵江

来源:卢松松博客,欢迎分享


版权声明 : 本文内容来源于互联网或用户自行发布贡献,该文观点仅代表原作者本人。本站仅提供信息存储空间服务和不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权, 违法违规的内容, 请发送邮件至2530232025#qq.cn(#换@)举报,一经查实,本站将立刻删除。
原文链接 : https://www.admin5.com/article/20200220/944152.shtml
相关文章
  • APP从创意到执行的成功之道
    在数字化时代,APP已成为人们生活中不可或缺的一部分。如何让自己的APP在众多竞争者中脱颖而出,成为用户心中的首选?这就需要制定一
  • 软文的目标与定位:以抖音为例的精准营销策略
    在当今信息爆炸的时代,软文营销作为一种有效的推广手段,越来越受到企业的青睐。软文营销的目标在于通过富有创意和有价值的内容,
  • 微博引流秘籍大揭秘!从零到万的引流法则
    自从微博这个社交媒体巨头崭露头角,无数企业和个人都希望在这里分一杯羹。那么,如何在微博上成功引流?我作为一名资深互联网营销
  • 站长推广时的“点睛之笔”
    在当今信息爆炸的时代,互联网上的信息如浩渺星空中闪烁的繁星,如何让自己的网站在这片广袤的星空脱颖而出,是每一个站长面临的重
  • 揭秘站长背后的流量密码
    在数字营销的浪潮中,博客营销始终占据着一席之地。它不仅是站长们获取流量、提升品牌影响力的有力武器,更是与用户深度互动、建立
  • google会把Pogo-sticking作为排名依据吗
    Pogo-sticking是什么,google会使用Pogo-sticking作为排名依据吗。 Pogo sticking指的是:搜索引擎依据用户浏览行为进行网页价值衡量的一种排名规则
  • 网站策划包含的内容
    随着百度算法智能化水平越来越高,百度对于图片的抓取能力也开始出现了显著增长,在这个大环境下,网站图片的优化作用就会越发显著
  • 为权重而做网站,还是为业务而做网站?

    为权重而做网站,还是为业务而做网站?
    当下互联网站长圈乱象:为了权重而做网站。什么时候第三方工具的权重参考已经成了衡量一个网站的标准了?有权重又怎么样,有流量吗
  • 网站推广有哪些实用的小技巧?
    在推广的过程中,网站推广是绕不开的一个过程,要想更好的运营网站,成功的实现更多的营销目的,有效的推广方式和策略是不可或缺的
  • 网站UV是什么意思?如何提升网站UV?
    从事SEO工作必须对网站数据要了如指掌,一般我们通过流量统计工具。其中网站PV和UV这两个数据是网站的基础指标之一,可以体现出一个网
  • 本站所有内容来源于互联网或用户自行发布,本站仅提供信息存储空间服务,不拥有版权,不承担法律责任。如有侵犯您的权益,请您联系站长处理!
  • Copyright © 2017-2022 F11.CN All Rights Reserved. F11站长开发者网 版权所有 | 苏ICP备2022031554号-1 | 51LA统计