Настройка robots.txt

Перед настройкой Sitemap выполните на сайте настройку всех необходимых данных: поддоменов, если используются (в том числе ssl), Перед настройкой Robots выполните на сайте настройку необходимых регионов. Подробнее: Настройка данных.

Шаг 1. Настройте стандартный файл robots.txt в настройках 1С-Битрикс.

Страница настроек: http://вашдомен/bitrix/admin/seo_robots.php?lang=ru

Рекомендуемый robots.txt для сайта на 1С-Битрикс: https://aprioricorp.ru/articles/publications/pravilnyj-robots-txt-dlya-site-na-bitrix-2022/

Шаг 2. Перейдите в настройки решения. Нажмите «Генерировать robots.txt».

На некоторых хостингах, например виртуальном хостинге Timeweb,  .txt-файлы  обрабатывает nginx. В этом случае для корректной работы надо переименовать robots.txt в robots_old.txt. В этом случае правки вносятся при необходимости в этот файл и robots регионов  генерируется из него. См. дополнительно инструкцию: Не генерируется robots для регионов