标签:robots.txt协议

SEO

robots.txt协议如何设置禁止搜索引擎抓取?

1

发布于 2019-08-06

什么情况下要设置禁止搜索引擎抓取自己的网站呢? 公司内部测试的网站,或者内部网,或者后台登录的页面,肯定不希望被外面的人搜索到,所以要禁止搜索引擎抓取。还有在我们的网站还未正式上线之前,我们需要做大量的修改工作,如果还未修改完成又没有设置禁止抓取,那么网站就有可能会被收录了,后期...

阅读(559)评论(0)赞 (3)