Robots.txt生成器

生成robots.txt文件以控制搜索引擎爬取。添加允许/禁止规则和网站地图引用。