robots.txt в WordPress нужен не для «ускорения индексации», а для управления обходом сайта поисковыми роботами. Если настроить его неаккуратно, можно случайно закрыть важные страницы, открыть служебные разделы или просто не получить никакого эффекта. В WordPress это особенно легко сделать, потому что у сайта есть и реальные файлы на сервере, и виртуальная версия robots.txt, которую система может отдавать сама.
Ниже разберём, как устроен robots.txt в WordPress, какие директивы действительно полезны, что лучше не трогать и как проверить результат без риска для сайта.
Как WordPress отдаёт robots.txt
У WordPress есть два сценария.
- Если в корне сайта лежит физический файл
robots.txt, поисковики читают именно его. - Если файла нет, WordPress может сгенерировать виртуальный robots.txt по адресу
/robots.txt.
Для владельца сайта это означает простую вещь: если вы хотите управлять правилами сами, лучше создать собственный файл в корне сайта и не полагаться на стандартную виртуальную версию. Тогда поведение будет предсказуемым и не будет зависеть от темы, плагинов или особенностей хостинга.
Проверить, какой вариант используется сейчас, можно прямо в браузере: откройте https://ваш-домен/robots.txt. Если видите текстовый файл с вашими правилами — всё в порядке. Если там стандартный набор строк WordPress, значит сайт отдаёт виртуальный вариант или физический файл ещё не создан.
Что обычно должно быть в robots.txt для WordPress
Базовая задача robots.txt — не закрыть сайт целиком, а аккуратно ограничить обход технических и малополезных URL. Для большинства обычных сайтов достаточно минимального набора правил.
Пример безопасной основы:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/sitemap.xmlЧто здесь важно:
User-agent: *— правило для всех роботов.Disallow: /wp-admin/— закрывает административный раздел от обхода.Allow: /wp-admin/admin-ajax.php— оставляет доступ к AJAX-эндпоинту, который нужен многим темам и плагинам на фронтенде.Sitemap:— указывает карту сайта, если она у вас есть.
Это не «магическая SEO-настройка», а нормальная техническая база. Она не делает сайт более индексируемым сама по себе, но помогает роботам не тратить обход на служебные URL.
Какие директивы полезны, а какие легко сломать
В robots.txt используются простые директивы, но ошибка в одной строке может изменить поведение всего файла. Для WordPress чаще всего встречаются такие варианты.
| Директива | Что делает | Когда использовать |
|---|---|---|
User-agent | Задаёт, для какого робота действует блок | Почти всегда — для всех роботов через * |
Disallow | Запрещает обход пути | Для /wp-admin/, служебных каталогов, тестовых разделов |
Allow | Разрешает исключение внутри запрещённого пути | Для /wp-admin/admin-ajax.php |
Sitemap | Указывает XML-карту сайта | Если карта сайта есть и вы хотите помочь роботам её найти |
Частая ошибка — писать Disallow: /. Это полностью запрещает обход всего сайта и обычно используется только в редких технических сценариях, например на закрытом тестовом стенде. На рабочем сайте такая строка почти всегда лишняя и опасная.
Ещё одна типичная ошибка — закрывать слишком широкие разделы вроде /wp-content/. Так можно случайно ограничить доступ к изображениям, стилям или скриптам, если они отдаются из этого каталога. Если задача не требует жёсткого ограничения, лучше не трогать этот путь целиком.
Как создать свой robots.txt в WordPress
Самый надёжный способ — загрузить файл в корень сайта через FTP, SFTP или файловый менеджер хостинга. Нужен именно корень сайта, где лежат wp-config.php и папки WordPress.
Порядок действий такой:
- Сделайте резервную копию текущего
robots.txt, если он уже есть. - Откройте корень сайта на сервере.
- Создайте файл
robots.txtв кодировке UTF-8 без BOM. - Добавьте нужные директивы.
- Сохраните файл и проверьте его по адресу
/robots.txt.
Если вы редактируете файл через панель хостинга, следите, чтобы он не получил расширение вроде robots.txt.txt. Такая ошибка встречается чаще, чем кажется, и из-за неё WordPress или сервер продолжат отдавать старую версию, а вы будете смотреть на не тот файл.
Что лучше не писать в robots.txt без необходимости
В robots.txt часто пытаются перенести задачи, которые он решает плохо или не решает вовсе. Это приводит к путанице.
- Не используйте robots.txt как способ скрыть конфиденциальные данные. Если URL важен с точки зрения безопасности, его нужно защищать авторизацией, правами доступа или серверной настройкой.
- Не рассчитывайте, что
Disallowудалит страницу из поиска. Если URL уже известен поисковику, он может оставаться в индексе без содержимого, пока не будет обработан другими сигналами. - Не закрывайте массово параметры и фильтры, если не понимаете, как они используются на сайте. На некоторых проектах это ломает навигацию и мешает обходу полезных страниц.
Для WordPress особенно важно не путать robots.txt с настройками видимости сайта в админке. Галочка «Попросить поисковые системы не индексировать сайт» в настройках чтения — это отдельный механизм, и он не заменяет корректный robots.txt.
Как проверить, что настройка работает
После изменения файла не стоит полагаться только на визуальный просмотр. Проверьте три вещи.
- Откройте
https://ваш-домен/robots.txtв браузере и убедитесь, что там именно ваш текст. - Проверьте, что файл отдается с кодом ответа
200 OK, а не404или редиректом на другую страницу. - Убедитесь, что в файле нет случайных лишних символов, пустых строк с ошибками или дублирующихся блоков, которые могут запутать поддержку сайта.
Если у вас есть XML-карта сайта, откройте её адрес и проверьте, что он совпадает с тем, который указан в robots.txt. Несовпадение здесь не критично, но лучше держать всё в одном месте и не плодить разные версии карты сайта в разных плагинах.
Когда robots.txt лучше не усложнять
Для небольшого корпоративного сайта, блога или портфолио обычно хватает минимального файла: закрыть /wp-admin/, оставить admin-ajax.php и указать sitemap. Этого достаточно, чтобы не создавать лишних проблем.
Сложные правила нужны только тогда, когда у сайта есть реальная техническая причина: большой архив, фильтры, тестовые разделы, отдельные поддомены или нестандартная структура URL. Если такой причины нет, чем короче robots.txt, тем проще его сопровождать и тем меньше риск сломать обход сайта после очередного обновления плагина или темы.
Если вы хотите дополнительно убрать технический шум на WordPress-сайте, иногда помогает не robots.txt, а чистка лишних служебных элементов в самой системе. В таких случаях полезен Clearfy Pro, но только как вспомогательный инструмент: сам файл robots.txt он не заменяет.
Хороший robots.txt в WordPress не должен выглядеть «умным» или перегруженным. Его задача — быть коротким, понятным и безопасным. Если файл можно прочитать за несколько секунд и сразу понять, что именно закрыто и почему, значит он настроен нормально.