Посмотрите видео по настройке и создайте идеальный файл robots.txt, открыв свой сайт на Joomla для поисковых роботов и пользователей из поисковой выдачи.

Для чего нужен robots.txt?

Одной из важных задач в SEO-оптимизации является открытие своего сайта для роботов поисковых систем.

Представьте: вы решили продать квартиру, но всеми силами не пускаете туда покупателей, а только позволяете посмотреть в замочную скважину. Что они там увидят? Как смогут оценить подходит им ваша квартира или нет?

Поэтому в первую очередь для того, чтобы поисковые роботы видели наш сайт так же, как видят его пользователи нужно, обеспечить им доступ к сканированию с помощью файла robots.txt.

Полезная информация
Файл robots.txt позволяет управлять сканированием страниц сайта поисковыми роботами.

К сожалению, по умолчанию, если мы ничего не делаем с файлом robots.txt для сайта на Joomla, то мы разрешаем поисковым роботам именно подглядывать в щелку и, как следствие, получаем посредственный результат.

Работы на несколько минут, но многие терпят годами и ругаются на плохие результаты продвижения сайта на Joomla.

Что представляет стандартный robots.txt в Joomla?

Мало кто знает, что в стандартном файле robots.txt в Joomla до версии 3.3 поисковые роботы не видят изображений, не понимают оформления сайта и могут не видеть части контента, а иногда и вовсе не смогут переходить по сквозным ссылкам из меню.

Начиная с Joomla 3.3 разработчики изменили файл robots.txt и это похвально, но:

  1. при обновлении Джумла с предыдущей версии данный файл не перезаписывается автоматически,
  2. всё равно требуется его небольшая доработка.

Каким должен быть правильный robots.txt для Joomla?

Посмотрите видео по настройке и создайте идеальный файл robots.txt, открыв свой сайт для поисковых роботов и пользователей из поисковой выдачи:

Это была первая фишка в SEO-оптимизации Joomla. С помощью файла robots.txt также можно успешно удалять дубли страниц, которые не любят поисковые системы, но это отдельная тема, требующая погружения.

Упоминаемые термины:

Joomla