Robots生效的过程是怎样的,需要多长时间

Admin 2022-08-13 群英技术资讯 290 次浏览

在实际应用中,我们有时候会遇到“Robots生效的过程是怎样的,需要多长时间”这样的问题,我们该怎样来处理呢?下文给大家介绍了解决方法,希望这篇“Robots生效的过程是怎样的,需要多长时间”文章能帮助大家解决问题。


有时候我们建站前期忘记写robots.txt文件了,很多我们不想让搜索引擎收录的内容却被收录了,这个时候会发现好像过了很长时间我们不想让收录的页面还是处于被收录的状态,到底robots生效要多久呢?

百度lee曾在公开场合说过:不同的站点略有不同,但通常在几天内陆续生效。

其实我们可以假想下robots生效的过程:

1.蜘蛛发现robots文件修改并将信息传回

2.分析修改前后的robots文件

3.删除不允许被收录的索引数据

这个过程中肯能还会存在其他的一些步骤,然而由于每个网站蜘蛛爬的频率和网站的权重不同(网站的重要性)而导致蜘蛛发现robots更改的时间延时或者被处理的优先性不同,最终导致的结果就是robots的生效时间不同。

通过以上分析我们可以得出robots的生效时间并不是一定的,如果你的robots更改后很久都没有生效的话,可以去投诉。


以上就是关于“Robots生效的过程是怎样的,需要多长时间”的介绍了,感谢各位的阅读,希望这篇文章能帮助大家解决问题。如果想要了解更多知识,欢迎关注群英网络,小编每天都会为大家更新不同的知识。 群英智防CDN,智能加速解决方案
标签: Robots生效

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:mmqy2019@163.com进行举报,并提供相关证据,查实之后,将立刻删除涉嫌侵权内容。

猜你喜欢

成为群英会员,开启智能安全云计算之旅

立即注册
专业资深工程师驻守
7X24小时快速响应
一站式无忧技术支持
免费备案服务
免费拨打  400-678-4567
免费拨打  400-678-4567 免费拨打 400-678-4567 或 0668-2555555
在线客服
微信公众号
返回顶部
返回顶部 返回顶部
在线客服
在线客服