robots.txt协议如何设置禁止搜索引擎抓取?

什么情况下要设置禁止搜索引擎抓取自己的网站呢?

公司内部测试的网站,或者内部网,或者后台登录的页面,肯定不希望被外面的人搜索到,所以要禁止搜索引擎抓取。还有在我们的网站还未正式上线之前,我们需要做大量的修改工作,如果还未修改完成又没有设置禁止抓取,那么网站就有可能会被收录了,后期我们对网站再进行修改操作,就会对网站造成影响。

搜索引擎第一个访问的文件就是robots.txt,禁止所有搜索引擎访问网站的所有部分 robots.txt写法如下:

User-agent: *

Disallow: /

网站有内容不想让搜索引擎收录,就可以在robots.txt里声明。

未经允许不得转载:西安SEO » robots.txt协议如何设置禁止搜索引擎抓取?

赞 (0)

评论 0