robots.txt文件生成工具

限制目录：

*每个路径之前都要包含："/"   多个目录请使用英文逗号","分割

Sitemap：

*留空为无   谷歌为xml格式，百度为html格式

增加Sitemap

检索间隔：

不限

• 不限
• 5 秒
• 10 秒
• 20 秒
• 60 秒
• 120 秒

*爬虫访问时间间隔限制

所有搜索引擎：

允许 拒绝

*默认允许所有