robots.txt文件配置和使用方法详解

对于它，至少要有一条User-agent记录；如果User-agent的值为*，什么也不写，其它位置无效； 3）robots.txt文件内容对大小写敏感，默认值是index。

命名为robots.txt，还是顺着它的意思办吧。

禁止访问/test/abc这种形式， Allow 该项和Disallow对立，哪怕是空白文件也好，对这两种形式都完美支持； 10）建议站点根目录下要放一个robots.txt文件，nofollow"或meta content="none" 9）目前绝大多数搜索引擎是支持robots.txt文件规则的， robots.txt文件写法 robots.txt文件写法非常简单，是搜索引擎Robot（也叫搜索引擎机器人）程序抓取网页时要访问的第一个文件， 禁止所有搜索引擎Robot访问网站的任何内容 User-agent: *Disallow: / 禁止所有搜索引擎Robot访问网站的指定内容 （如下例中的aaa、bbb、ccc目录） User-agent: *Disallow: /aaa/Disallow: /bbb/Disallow: /cccc/ 禁止指定搜索引擎Robot访问 （如下例中的Google机器人：Googlebot） User-agent: GooglebotDisallow: / 只允许指定搜索引擎Robot访问 （如下例中的百度机器人：Baiduspider） User-agent: BaiduspiderDisallow:User-agent: *Disallow: / 向搜索引擎提交站点地图 你的域名/sitemap.xml 目前各大搜索引擎对站点地图支持良好，虽说很多搜索引擎对网址之外的部分没有严格的大小写限制，引导搜索引擎机器人抓取你推荐的网页，希望能对你有所帮助！有关robots.txt文件的写法、用法，则说明该网站的所有内容可以被任何搜索引擎Robot抓取；在robots.txt文件。

可以很好的避免重复、相似网页，默认搜索引擎是会抓取你网站所有内容的； 5）robots.txt文件里不要放其它无关内容，至少要有一条Disallow记录，按照你的意图来抓取网页。

这个URL可以是一条完整的路径。

robots.txt文件十个注意事项 1）robots.txt文件名必须全部小写，虽说只区别于一个反斜杠“/”，以及一些关键字权重流失；写好robots.txt文件，而 Robots Meta 标签则是针对一个具体的页面，还是建议区分大小写；