Robots生效的过程是怎样的,需要多长时间
Admin 2022-08-13 群英技术资讯 290 次浏览
有时候我们建站前期忘记写robots.txt文件了,很多我们不想让搜索引擎收录的内容却被收录了,这个时候会发现好像过了很长时间我们不想让收录的页面还是处于被收录的状态,到底robots生效要多久呢?
百度lee曾在公开场合说过:不同的站点略有不同,但通常在几天内陆续生效。
其实我们可以假想下robots生效的过程:
1.蜘蛛发现robots文件修改并将信息传回
2.分析修改前后的robots文件
3.删除不允许被收录的索引数据
这个过程中肯能还会存在其他的一些步骤,然而由于每个网站蜘蛛爬的频率和网站的权重不同(网站的重要性)而导致蜘蛛发现robots更改的时间延时或者被处理的优先性不同,最终导致的结果就是robots的生效时间不同。
通过以上分析我们可以得出robots的生效时间并不是一定的,如果你的robots更改后很久都没有生效的话,可以去投诉。
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:mmqy2019@163.com进行举报,并提供相关证据,查实之后,将立刻删除涉嫌侵权内容。
猜你喜欢
网站优化即搜索引擎优化,简称SEO,是让网站设计适合搜索引擎检索,满足搜索引擎排名的指标,从而在搜索引擎检索中获得靠前的排名,增强搜索引擎营销的效果。网站优化也是目前中小型企业特别喜欢的一种线上推广渠道,不仅价格低,而且还能提高企业曝光,从而提高知名度,那么问题来了做了半年甚至一年网站优化都没排名是什么原因?
随着互联网的发展越来越快,很多人都想要把自己好不容易制作完成的网站优化好,从而获得更多的流量和转化。但因为不了解网站优化,在优化过程中走了很多弯路。因此为了帮助大家更好的优化网站,下面小编就为大家介绍下网站优化的方法吧!
现在很多企业都有搭建自己的网站,其最终目的就获得收益,而想要有好的收益,做好网站排名很重要。但是很多企业辛辛苦苦做网站优化,而网站排名还是很差,这是什么原因呢?下面小编与大家分析分析。
通常做网站的目标就是让搜索引擎收录,扩大推广面,但是如果你的网站涉及个人隐私或者机密性非公开的网页而需要禁止搜索引擎收录抓取的话,那么禁止网站部分网页不被收录的方
并不是每个网站优化都能有很好的效果。如果优化这么容易,还需要付费推广吗?虽说优化靠的是坚持和耐心,但当中若是犯了某些错而不自知,再继续下去也很难看到效果。效果不理想都是有原因的,那么网站优化效果差是在哪些方面犯错了呢?
成为群英会员,开启智能安全云计算之旅
立即注册Copyright © QY Network Company Ltd. All Rights Reserved. 2003-2020 群英 版权所有
增值电信经营许可证 : B1.B2-20140078 粤ICP备09006778号 域名注册商资质 粤 D3.1-20240008