河南22选5开奖规则

成都seo博客

蔡江博客

robots协议最容易忽略的小细节

作者:choi 日期:2019-03-03 16:17 浏览:177

  在我看来robots协议就是站长行使网站支配权的执行文件,这是我们作为站长最基本的权利。它是搜索引擎蜘蛛爬取网站之前要面对的第一道关口,所以robots协议的重要性也是可想而知了。都说细节决定成败,那么越重要的东西细节就 […]

  在我看来robots协议就是站长行使网站支配权的执行文件,这是我们作为站长最基本的权利。它是搜索引擎蜘蛛爬取网站之前要面对的第一道关口,所以robots协议的重要性也是可想而知了。都说细节决定成败,那么越重要的东西细节就显得尤为重要,往往自己一不小心忽略的一个细节到最后就可能会成为你的致命一击。本人之所以会这么说,是因为我差点就成了这个问题的反面教材了,还好发现的及时也算是亡羊补牢吧!之所以想立即分享给大家,就是希望大家以后自己做站的时候要避免犯类似的错误。

  事情其实就发生在今天,经过是这样的:因为重庆SEO博客也刚做好不久,前几天网站上线之后发现还有很多小问题需要处理,为了避免网站还在调整的过程中就被搜索引擎抓取到,所以我在robots协议里面写了禁止所有搜索引擎爬取网站任何部分的指令,网站的调整一直?#20013;?#20102;几天(之所以会弄这么长时间是因为我是一个不能容忍瑕疵的人,不知道这算不算强迫症的一种),直?#38454;?#22825;也就是2月3号才全面竣工,但是这期间我每天都在坚持添加原创文章。昨天网站检查完?#24076;?#20840;部问题都解决好以后,我就把robots协议重新更换了过来,并且发了一篇帖子引了蜘蛛希望爬虫能快点过来爬我的网站。就这样,到了今天早上发现网站还是没有被?#31456;跡?#20110;是我就去百度站长工具?#25945;?#30475;一下我的网站到底是个什么情况,进去一看吓我一跳,因为我看到了下面一则(如图所示)信息:

  我的网站竟然对百度进行了全面封禁,检测时间是在今天(2月4号)早上凌晨5点整的时候,这让我像丈二的和尚摸不着头脑了,太不科学了,因为我在昨天2月3号上午已经把网站的robots协议更改过来了,真的是太奇怪了。就在我百思不得其解的时候总算是通过站长?#25945;?#24037;具的“robots检测”找到了答

  原来百度蜘蛛早就在我网站蜘蛛上线后的第三天抓取了我网站的robots协议,所以当前生效的协议也就是当时它抓取到的我把蜘蛛全部屏?#38382;?#30340;那个,而本站最新的robot协议还没有生效。这下?#26131;?#31639;是明白了过来了,既然弄清楚了原因那事情就好办了。于是我立即把协议提交更新了一下


文章来源?#20309;?#30693;
文章标题:robots协议最容易忽略的小细节
本文地址:http://www.kxspq.tw/seo/5813.html
相关文章
如何写一份高质量的网站优化方案? 如何写一份高质量的网站优化方案?

作为一个专业的seoer,撰写网站优化方案是必须的技能,优化方案是对于网站所有问题的整理,也是网站优化方向的调整,一

一个页面多个重复链接影响优化吗? 一个页面多个重复链接影响优化吗?

在网站的优化的过程中,我们经常发现很多seoer为了能够 使得优化效果好,通常在一个页面放有多个重复链接,这样对于se

网站制作细节?#24515;?#20123;?如何设计利于优化? 网站制作细节?#24515;?#20123;?如何设计利于优化?

什么是网站设计的细节,网站的设计细节大体分为打开速度的,网站的美感度,考虑到?#27809;?#20307;验,是否利于优化效果等等,只

SEO做新站是做原创好还是采集好? SEO做新站是做原创好还是采集好?

不知道很多小伙伴是否遇到这个尴尬的问题,很多人都在羡慕这些行业大佬,想知道,怎么把一个网站权重快速做上去?怎么

如何把内容优化做到极致? 如何把内容优化做到极致?

网站的内容优化效果决定自己网站的是够能够进行强有力的营销,从另一个方面说,内容优化就是网站的主体,觉得网站的生

做好内页优化,推动网站权重整体提升! 做好内页优化,推动网站权重整体提升!

网站如何做到高权重的发展,如何让网站能够靠前做上首页排名,其中对于网站内页的权重和优化都是至关重要的,下面蔡江

锚文本是什么?如何优化锚文本链接? 锚文本是什么?如何优化锚文本链接?

网站做seo往往是做细节的优化问题,某些细节就决定网站是否能够有?#31456;?#26377;排名,考虑细节才是各位站长应?#27599;?#34385;的大问题,

进行全面推广,?#23601;?#20248;化哪些方法实用? 进行全面推广,?#23601;?#20248;化哪些方法实用?

对于一个新手,肯定会问如何进行全面推广让网站曝光?如何做好?#23601;?#20248;化?有什么方法做?#23601;?#20248;化?想要?#23601;?#25512;广达到效果,我

网站出现问题如何进行诊断?从哪些方面入手? 网站出现问题如何进行诊断?从哪些方面入手?

现在做企业站的朋友是比较多的,毕竟?#25945;?#31449;的优化还是?#34892;?#36153;劲,今天我们就对企业网站进行诊?#24076;?#30475;看一个简单的企业网

网站seo优化中,新手优化应该注意哪些方面? 网站seo优化中,新手优化应该注意哪些方面?

现在越来越多的企业加入到了网站建设宣传的过程中,特别是对于一些新手优化网站,我看着真的是心累,难不怪说师傅领进

  • 精彩推荐
  • 最近发布
分享到:
Copyright © 2016-2021 「蔡江博客」版权所有
蜀ICP备15028159号  
网站地图 | 技术支持:点瑞网络
河南22选5开奖规则