Создание файла Robots.txt

Главным атрибутом продвижения сайта является правильно составленный файл robots.txt. При помощи него мы можем управлять поисковыми роботами, приходящими за очередным обновлением на наш сайт.

Что такое robots.txt и зачем он нужен?  Файл robots — это перечень ограничений для поисковых роботов, которые непрерывно ходят по ресурсам и сканируют страницы. Только эти пауки и считаются настоящими читателями таких служебных файлов robots.txt, анализирующие команды в нем до того как начинать сканировать web-сайт.

В robots.txt указываются те директории блога, которые должны индексироваться и наоброт.

Основные директивы robots:

User-agent:
Allow:
Disallow:
Host:
Sitemap:

Рассмотрим каждую директиву о одиночке.

User-agent — указывает на тот поисковик, под который и создан файл robots. К примеру, User-agent: Yandex или User-agent: Google. В случае, если инструкция составлена под все поисковые системы, то пропишите User-agent: *

Allow — указывает, какие директории нужно индексировать. К примеру, Allow: /wp-content/uploads/

Disallow — указывает, какие старницы нужно исключить из индексации. Допустим, Disallow: /wp-login.php

Host — здесь прописываем url нашего сайта

Sitemap — указывает на составленную карту сайта и её место расположение.  Sitemap: http://blogrole.ru/sitemap.xml

Создать robots.txt можно и в простом блокноте, сохранив его в расшерении txt.

Пример моего файла:

User-agent: *
# Added by add_robots.sh
Crawl-delay: 10
Request-rate: 1/10

Allow: /
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */page
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Host: blogrole.ru
Sitemap: http://blogrole.ru/sitemap.xml

Не забудьте в месте, где host и sitemap вместо моего подставить свой сайт.

После того, как вы создали robots.txt, загрузите его в корневую папку вашего сайта. Удачи!