Robots生效的过程是怎样的,需要多长时间
Admin 2022-08-13 群英技术资讯 448 次浏览
有时候我们建站前期忘记写robots.txt文件了,很多我们不想让搜索引擎收录的内容却被收录了,这个时候会发现好像过了很长时间我们不想让收录的页面还是处于被收录的状态,到底robots生效要多久呢?
百度lee曾在公开场合说过:不同的站点略有不同,但通常在几天内陆续生效。
其实我们可以假想下robots生效的过程:
1.蜘蛛发现robots文件修改并将信息传回
2.分析修改前后的robots文件
3.删除不允许被收录的索引数据
这个过程中肯能还会存在其他的一些步骤,然而由于每个网站蜘蛛爬的频率和网站的权重不同(网站的重要性)而导致蜘蛛发现robots更改的时间延时或者被处理的优先性不同,最终导致的结果就是robots的生效时间不同。
通过以上分析我们可以得出robots的生效时间并不是一定的,如果你的robots更改后很久都没有生效的话,可以去投诉。
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:mmqy2019@163.com进行举报,并提供相关证据,查实之后,将立刻删除涉嫌侵权内容。
猜你喜欢
网站内容优化怎么做?网站内容优化是网站优化中很重要的一部分,提高网站内容质量有利于提升网站权重和排名,对此,这篇文章就给大家分享一些做好网站内容优化的方法,感兴趣的朋友就继续往下看吧。
在网站SEO优化中,有一些企业为了快速获取关键词排名会去选择做网站快排,网站快排其实是利用一些搜索引擎的特点,对优化后的网站进行特殊的优化操作,从而达到在短时间内快速提升排名的目的
单页面优化怎样做会有效果,有哪些策略方法??我们不否认单页网站排名不太好优化的事实,不过虽然如此,我们仍有一些SEO优化策略也可以让单页优化获得良好的效果。下面提到的是一些你可以实施的方法。
关键词也称为关键字。它是网站的三个要素之一(标题、描述、关键字)。它可以是一个词也可以是一个短句子。关键词搜索是搜索引擎索引的主要方式之一,是网站优化人员的主要优化对象。
在网站SEO优化时添加Alt标签对于网站优化是有着很关键的作用的,合理添加Alt标签有利于提高关键词排名、增强内容相关性以及提高网站关键词密度,那么网站SEO优化时Alt标签的使用方法有哪些呢?
成为群英会员,开启智能安全云计算之旅
立即注册Copyright © QY Network Company Ltd. All Rights Reserved. 2003-2020 群英 版权所有
增值电信经营许可证 : B1.B2-20140078 粤ICP备09006778号 域名注册商资质 粤 D3.1-20240008