网站的robots.txt文本有什么用处呢?

站长们在做网站优化的时候,都会给网站做Robots协议,什么是robots协议呢?其实说白了就是一个txt文本,那么这个txt文本有什么用处呢?今天小语来给大家…