Онлайн генератор файла robots.txt. Удобные подсказки. Позволяет создать качественный файл robots.txt для использования на сайте.