当搜索引擎蜘蛛进入网站第一个访问的就是robots文件。
robots文件是与搜索引擎直接对话的文件，当搜索引擎蜘蛛来到网站，先读取网站的robots文件。搜索蜘蛛就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。
那么如何做好robots文件呢？
robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。
最简单的robots文件指令：
User-Agent: 指令代表允许搜索引擎的型号；
如
User-Agent: Baiduspider 说明允许百度正常访问。
User-Agent: Googlebot 说明允许谷歌正常访问。
User-Agent: * 说明允许所有搜索引擎正常访问。
Disallow: 指令代表禁止收录地址
如 ：
Disallow: /abc 说明禁止访问 abc目录下的所有文件
Disallow: /baiduseo.html 说明禁止访问baiduseo.html这个页面
Disallow: / 说明禁止所有页面的收录
那么做好robots文件有什么好处呢？
做好robots文件可以很好的与搜索引擎对话，更能让百度尽快收录 。
做好robots文件使得网站更加正规，是做百度优化的必要条件。
如果您有什么疑问可以加入保定SEO交流群：1群：206968201或者直接到----SEO咨询交流