robots.txt — текстовый файл с правилами обхода сайта для автоматических роботов. На сайте Joomla он помогает ограничить сканирование отдельных путей и указать расположение карты сайта.
Что находится в robots.txt
Файл размещают в корне сайта и открывают по адресу /robots.txt. Группы правил начинаются с User-agent, который указывает робота. Disallow запрещает обход подходящих путей, Allow разрешает исключения, а Sitemap сообщает полный адрес карты сайта.
Правила относятся к определённым схеме, имени узла и порту. Поэтому файл основного домена не заменяет правила отдельного поддомена. Поддержка дополнительных директив у разных роботов различается.
Ограничения файла
robots.txt управляет обходом, но не защищает информацию паролем. Любой посетитель может прочитать файл и попробовать открыть перечисленные адреса. Конфиденциальные разделы защищают проверкой доступа на сервере и в приложении.
Disallow также не гарантирует исключение URL из поиска. Если нужен noindex, роботу необходимо получить страницу или заголовок ответа с этой директивой. Запрет обхода может помешать ему увидеть noindex.
Проверка на сайте Joomla
После изменения robots.txt в Joomla проверяют, что файл открывается как обычный текст и правила не блокируют нужные страницы, CSS, JavaScript и изображения. Обход служебных путей оценивают с учётом установленных расширений Joomla.
При переносе Joomla со стенда в рабочую среду особенно важно проверить, не остался ли общий запрет обхода. Полезно сопоставить правила с отчётами инструментов для веб-мастеров и журналами запросов.
Вывод
robots.txt помогает управлять нагрузкой и обходом. Для запрета индексации и защиты данных нужны отдельные механизмы.