Генератор Robots.txt

Генерируйте файлы robots.txt для управления индексацией поисковыми системами. Добавляйте правила allow/disallow и ссылки на sitemap.