Теперь создайте файл robots.txt, вставьте туда результат и загрузите в корневую директорию вашего сайта
Онлайн генератор файла robots.txt. Удобные подсказки. Позволяет создать качественный файл robots.txt для использования на сайте.