Что такое генератор Robots.txt?
Генератор robots.txt — это бесплатный онлайн-инструмент для создания файлов robots.txt. Он помогает управлять взаимодействием поисковых краулеров с вашим сайтом: указывать, какие пути разрешены или запрещены, и включать ссылки на карту сайта. Вся генерация выполняется в браузере.
Как создать robots.txt
Выберите краулера для настройки (или используйте * для всех краулеров). Добавьте правила allow и disallow, чтобы указать, какие пути можно или нельзя обходить. Добавьте URL вашей карты сайта. Скопируйте сгенерированное содержимое robots.txt и загрузите его в корневой каталог вашего сайта.
Синтаксис robots.txt
В robots.txt директива User-agent указывает, к какому краулеру применяется правило. Директива Disallow блокирует доступ к путям. Директива Allow переопределяет Disallow. Директива Sitemap указывает расположение карты сайта.
Типовые шаблоны
- Блокировка всех краулеров в административной зоне
- Разрешение конкретному краулеру доступа ко всему
- Блокировка доступа к приватным каталогам
- Указание расположения карты сайта
- Разные правила для разных краулеров