robots.txt в WordPress нужен не для «ускорения индексации», а для управления обходом сайта поисковыми роботами. Если настроить его аккуратно, можно убрать из обхода служебные разделы, не трогая важные страницы. Если ошибиться — поисковик может перестать заходить туда, куда вы как раз хотите его пустить.
Для WordPress это особенно актуально, потому что на сайте почти всегда есть технические URL: служебные каталоги, параметры поиска, служебные файлы и страницы, которые не должны тратить краулинговый бюджет. Но robots.txt работает грубо: он не «прячет» страницу из поиска и не исправляет проблемы с дублями сам по себе. Он только подсказывает роботам, куда не ходить.
Что robots.txt делает в WordPress, а что — нет
Файл robots.txt лежит в корне сайта и отвечает на запросы поисковых роботов до обхода страниц. В WordPress его можно создать вручную или отдать управление SEO-плагину, но смысл один: перечислить правила для роботов.
Полезно помнить три вещи:
- robots.txt управляет обходом, а не индексацией напрямую;
- если страница уже известна поисковику, запрет в robots.txt не гарантирует её исчезновение из выдачи;
- закрывать важные страницы, чтобы «спрятать» их от поиска, — плохая идея. Для этого используют другие механизмы, а не robots.txt.
Из этого следует практическое правило: в robots.txt закрывают только то, что не нужно обходить роботам, но что не является важной публичной страницей сайта.
Что обычно можно закрыть без риска
На типичном WordPress-сайте в robots.txt часто ограничивают обход служебных и малополезных для поиска разделов. Речь не о том, чтобы запретить всё подряд, а о том, чтобы не тратить обход на мусорные URL.
Обычно безопасно ограничивать:
- админскую часть сайта, например
/wp-admin/; - служебные файлы и внутренние каталоги WordPress, если они не нужны в обходе;
- страницы поиска по сайту, если они создают много бесполезных URL;
- параметры и технические адреса, которые плодят дубли и не несут самостоятельной ценности.
При этом не стоит автоматически закрывать всё, что выглядит «техническим». Например, некоторые URL из WordPress нужны для работы фронтенда или внешних сервисов. Если вы не понимаете назначение конкретного пути, лучше сначала проверить, кто его использует, а не запрещать наугад.
Базовый robots.txt для WordPress: с чего начать
Если у сайта нет особых требований, разумно начать с простого и понятного файла. Ниже пример, который часто используют как отправную точку. Он не универсален, но показывает безопасную логику: закрыть админку от обхода и оставить открытым доступ к публичным страницам.
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php
Здесь важно именно сочетание правил. Каталог /wp-admin/ закрыт для обхода, но файл admin-ajax.php оставлен доступным, потому что его часто используют темы и плагины на публичной части сайта. Если закрыть его без понимания последствий, можно получить проблемы с формами, фильтрами, динамическими блоками и другими функциями.
Если на сайте уже есть robots.txt от хостинга, темы или SEO-плагина, не переписывайте его вслепую. Сначала посмотрите, что в нём уже задано, и только потом меняйте правила.
Как создать или отредактировать robots.txt в WordPress
Есть два рабочих способа: через SEO-плагин или вручную на сервере. Выбор зависит от того, как у вас устроен сайт и кто будет поддерживать файл дальше.
Через SEO-плагин
Если на сайте уже стоит SEO-плагин с редактором robots.txt, это самый удобный вариант для владельца сайта или контент-менеджера. Вы редактируете файл из админки, без доступа к FTP и без риска случайно сломать права на файл.
Плюс такого подхода — проще откатить изменения. Минус — вы зависите от возможностей конкретного плагина. Если редактор показывает только часть файла или добавляет свои правила, это нужно учитывать.
Вручную на сервере
Если вы работаете через FTP, файловый менеджер хостинга или SSH, можно создать файл robots.txt в корне сайта. Для WordPress это обычная практика, и сервер будет отдавать именно этот файл.
Перед редактированием сделайте копию текущего файла. Это не формальность: одна лишняя строка может закрыть нужный раздел или сломать логику обхода. Если сайт уже получает трафик из поиска, правки лучше вносить аккуратно и по одной, а не переписывать файл целиком за один заход.
Какие ошибки чаще всего вредят SEO
Самая частая ошибка — закрыть в robots.txt то, что должно быть доступно поисковому роботу. Обычно это происходит из-за слишком широких правил.
Вот типовые проблемы:
Disallow: /— полностью запрещает обход сайта;- слишком общий запрет на каталог, внутри которого есть важные страницы;
- закрытие ресурсов, без которых поисковик не может корректно отрисовать страницу;
- попытка использовать robots.txt как способ удалить страницу из индекса;
- одновременное использование конфликтующих правил без понимания приоритета.
Отдельно стоит сказать про закрытие CSS и JS-файлов. Делать это без причины не нужно: поисковые системы используют эти ресурсы для понимания того, как страница выглядит и работает. Если запретить всё подряд, можно ухудшить обработку сайта роботом.
Ещё одна распространённая ошибка — надеяться, что robots.txt скроет от поиска страницы с дублирующимся контентом. Если URL уже известен поисковику, запрет на обход не решает задачу полностью. Для таких случаев обычно используют канонические ссылки, редиректы или настройку самих страниц, а не robots.txt.
Как проверить, что файл не сломал важные страницы
После правки robots.txt не ограничивайтесь тем, что файл просто открылся в браузере. Нужно проверить, что вы не перекрыли нужные разделы и что правила читаются так, как вы задумали.
Практический порядок проверки такой:
- Откройте
https://ваш-домен/robots.txtи убедитесь, что файл отдается без ошибок. - Проверьте, нет ли в нём случайного широкого запрета вроде
Disallow: /или лишнего закрытия важных каталогов. - Посмотрите, доступны ли публичные страницы сайта в обычном браузере.
- Если у вас подключены инструменты для вебмастеров, проверьте, как поисковик видит robots.txt и не считает ли он какие-то URL заблокированными.
Если после правки у сайта пропали изображения, перестали работать формы или сломались динамические элементы, первым делом сравните новый robots.txt с предыдущей версией. Обычно проблема не в WordPress как таковом, а в слишком агрессивном правиле для служебного пути.
Когда robots.txt лучше не трогать
Если у вас обычный сайт-визитка, блог или небольшой корпоративный проект без сложной структуры, не нужно придумывать длинный список запретов «на всякий случай». Чем больше правил, тем выше шанс ошибиться.
Иногда лучший вариант — оставить минимальный robots.txt и не закрывать ничего, кроме действительно служебных разделов. Это нормально, если сайт небольшой и у него нет проблем с бесполезными обходами. В WordPress часто вредят не отсутствие запретов, а избыточная попытка всё оптимизировать вручную.
Если же сайт крупный, с фильтрами, параметрами, поиском по каталогу и большим количеством технических URL, robots.txt уже становится рабочим инструментом. Но и тогда он должен дополнять общую SEO-логику, а не заменять её.
Для владельца сайта главный ориентир простой: в robots.txt попадают только те адреса, которые не должны расходовать обход робота. Всё, что важно для поиска и пользователей, лучше не закрывать без веской причины и проверки последствий.