robots.txt + sitemap.xml для bitrix, wordpress, joomla, prestashop, UMI.CMS

Создание или приведение файлов robots.txt и sitemap.xml в адекватный вид при продвижении сайта является одним из первых этапов облагораживания вашего ресурса в лице поисковых систем. Эти файлы являются подобием сигналов для поисковых систем, которые говорят, что ресурс развивается и идет в ногу со временем. Почему написал приведение файлов в адекватный вид? Потому что встречаются такие примеры файлов, которые просто закрывают весь сайт для роботов или его часть. Да да, это может быть сделано по невнимательности или не понимаю инструкций вебмастером или сеошником.

Конечно, есть случаи, когда сайт закрывается намеренно, но это уже другой разговор.

Содержание

О robots.txt и sitemap.xml по-порядку

Robots.txt — это обыкновенный текстовый файл, который содержит инструкции для роботов поисковых систем. Пример:

User-agent: Yandex
Allow: /content
Disallow: /
# запрещает скачивать роботу Yandex все, кроме страниц
# начинающихся с '/content'

Сразу приведу реальные примеры для различных CMS, так как с теорией можно ознакомиться в справке Яндекса.

robots.txt для wordpress

User-agent: *
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: */feed
Host: site.ru
Sitemap: http://site.ru/sitemap.xml

robots.txt для joomla

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Host: www.
site.ru
Sitemap: http://www.site.ru/sitemap.xml

robots.txt для 1C-Bitrix

User-agent: *
Disallow: /bitrix/
Disallow: /search/
Disallow: /auth/
Disallow: /auth.php
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*register=yes
Disallow: /*forgot_password=yes
Disallow: /*change_password=yes
Disallow: /*login=yes
Disallow: /*logout=yes
Disallow: /*auth=yes
Disallow: /*backurl=*
Disallow: /*BACKURL=*
Disallow: /*back_url=*
Disallow: /*BACK_URL=*
Disallow: /*back_url_admin=*
Disallow: /temp_index.php
Disallow: /access.log
Disallow: /include/
Disallow: /upload/
Disallow: /cgi-bin/
Disallow: /login/
Host: www.site.ru
Sitemap: http://www.site.ru/sitemap.xml

robots.txt для PrestaShop

User-agent: *
Disallow: /config/
Disallow: /modules/
Disallow: /addresses.php
Disallow: /address.php
Disallow: /authentication.php
Disallow: /cart.php
Disallow: /discount.php
Disallow: /footer.php
Disallow: /get-file.php
Disallow: /header.php
Disallow: /history.php
Disallow: /identity.php
Disallow: /images.inc.php
Disallow: /init.php
Disallow: /my-account.php
Disallow: /order.php
Disallow: /order-slip.php
Disallow: /order-detail.php
Disallow: /order-follow.php
Disallow: /order-return.php
Disallow: /order-confirmation.php
Disallow: /pagination.php
Disallow: /password.php
Disallow: /pdf-invoice.php
Disallow: /pdf-order-return.php
Disallow: /pdf-order-slip.php
Disallow: /product-sort.php
Disallow: /search.php
Disallow: /statistics.php
Disallow: /classes/
Disallow: /adminp/
Disallow: /upload/
Disallow: /password.php
Disallow: /authentication.php/?create_account=1
Disallow: /order.php?step=1
Disallow: /order.php
Disallow: /webalizer/index.html
Disallow: /webalizer/usage_201103.html
Disallow: /translations/
Disallow: /tools/
Disallow: /themes/prestashop/
Disallow: /mails/
Disallow: /js/
Disallow: /download/
Disallow: /config/
Disallow: /captcha/
Disallow: /supplier.php
Disallow: /manufacturer.php
Host: site.ru
Sitemap: http://site.ru/sitemap.xml

robots.txt для Host CMS

User-agent: *
Disallow: /admin
Host: site.ru
Sitemap: http://site.ru/sitemap.xml

robots.txt для UMI.CMS


User-Agent: Googlebot
Disallow: /?
Disallow: /admin
Disallow: /index.php
Disallow: /emarket/addToCompare
Disallow: /emarket/basket
Disallow: /go_out.php
Disallow: /search

User-Agent: Yandex
Disallow: /?
Disallow: /admin
Disallow: /index.php
Disallow: /emarket/addToCompare
Disallow: /emarket/basket
Disallow: /go_out.php
Disallow: /search
Host: site.ru
Crawl-delay: 3

User-Agent: *
Disallow: /?
Disallow: /admin
Disallow: /index.php
Disallow: /emarket/addToCompare
Disallow: /emarket/basket
Disallow: /go_out.php
Disallow: /search

Sitemap: http://site.ru/sitemap.xml

Файл sitemap.xml

В конце файла указывается URL адрес к карте сайта Sitemap: http://site.ru/sitemap.xml.

Карта сайта — это файл в формате xml, содержащий перечень страниц, которые должны попасть в индекс поисковых систем. Со всеми тонкостями протокола Sitemap, схемой XML можно ознакомиться на официальном ресурсе.

Важно чтобы этот файл был! Даже, если он будет ошибочным — это не страшно. Инструменты для вебмастеров от Google подскажут вам, что и где необходимо исправить.

sitemap

Также вы можете подробнее почитать о том как создать карту сайта.

This entry was posted in Без рубрики

Оставить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *