Настройка robots.txt для Joomla и Virtuemart

У вас сайт на CMS Joomla или интернет магазин на Virtuemart. Для поисковой оптимизации важно правильно настроить файл robots.txt. Так, что же такое robots.txt для Joomla и Virtuemart и для остальных систем управления контентом сайта? Robots.txt — это текстовый файл, который находится в корне вашего сайта, интернет магазина в который записаны подробные инструкции для поисковых систем типа Yandex, Google и других. Robots.txt нужен для того чтобы сократить время индексации вашего сайта или интернет магазина, убрать дубли страниц, ускорить работу поисковых роботов. Файл robots.txt используется оптимизаторами для запрета индексации поисковиками, всего лишнего, файлов системы управления (движка), в нашем случае системных файлов Joomla и Virtuemart. Неправильная настройка robots.txt может серьезно осложнить работу по продвижению сайта.

Чтобы отредактировать, файл robots.txt для Joomla и Virtuemart, необходимо зайти на сайт по ftp протоколу, например через ftp клиент FileZilla (о том как настроить читайте в этой статье). Переходим в корень сайта на Joomla, видим файл robots.txt, открываем его для настройки.

Настройка robots.txt для Joomla и Virtuemart


Стандартный файл robots.txt в CMS Joomla.

Типовой файл robots.txt, который мы получаем при установке Joomla, выглядит следующим образом:

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/

  • User-agent: * — обозначает, что правила robots.txt, действуют для всех поисковых систем.
  • Disallow: — устанавливает запрет на индексацию.
  • Allow: — разрешает индексацию, выбранного пути.

Как мы видим стандартный файл robots.txt запрещает индексацию картинок сайта Disallow: /images/, что автоматически лишает ваш сайт посещений с Google и Яндекс картинок. Также хорошо было бы прописать путь к вашей карте сайта и указать директиву Host: для исключения нежелательных отображений вашего сайта, выбрав только один вид с www или без www. Исключим нежелательную индексацию, pdf файлов, swf анимации, почтовых ссылок и путей печати. После настройки файла robots.txt получаем следующее.

Правильно настроенный файл robots.txt для Joomla.

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*.pdf
Disallow: /*.swf
Disallow: /*print=1
Disallow: /*mailto/
Sitemap: http://yoursite.ru/sitemap
Host: yoursite.ru

Можно еще точнее настроить файл robots.txt для Joomla, ввести директивы отдельно для поисковой системы Yandex, после настройки роботс.тхт будет выглядеть так:

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*.pdf
Disallow: /*.swf
Disallow: /*print=1
Disallow: /*mailto/
Sitemap: http://yoursite.ru/sitemap
Host: yoursite.ru

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*.pdf
Disallow: /*.swf
Disallow: /*print=1
Disallow: /*mailto/
Sitemap: http://yoursite.ru/sitemap
Host: yoursite.ru

Файл robots.txt для Virtuemart

Т.к. файлы интернет магазина Virtuemart, находятся в папке /components/, нужно установить дополнительный путь к индексации товаров магазина. Этот вариант настройки robots.txt также подходит и для Virtuemart 2.

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Allow: /components/com_virtuemart/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*.pdf
Disallow: /*.swf
Disallow: /*print=1
Disallow: /*mailto/
Sitemap: http://yoursite.ru/sitemap
Host: yoursite.ru

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Allow: /components/com_virtuemart/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*.pdf
Disallow: /*.swf
Disallow: /*print=1
Disallow: /*mailto/
Sitemap: http://yoursite.ru/sitemap
Host: yoursite.ru

Директива Allow: /components/com_virtuemart/ открыла путь к индексации нашего интернет магазина на Virtuemart.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

20 − 8 =