Все поисковые роботы при заходе на сайт в первую очередь ищут файл robots.txt. Если вы – вебмастер, вы должны знать назначение и синтаксис robots.txt.

Файл robots.txt – это текстовый файл, находящийся в корневой директории сайта, в котором записываются специальные инструкции для поисковых роботов. Эти инструкции могут запрещать к индексации некоторые разделы или страницы на сайте, указывать на правильное «зеркалирование» домена, рекомендовать поисковому роботу соблюдать определенный временной интервал между скачиванием документов с сервера и т.д.

Чтобы создать файл robotx.txt, нужен простой текстовый файл. Если вы не собираетесь создавать запреты к индексации, можно сделать пустой файл robots.txt.

Для Рунета самой часто встречающейся задачей является создание файла robots.txt для Яндекса, так как сейчас Яндекс – самая популярная поисковая система. Важно уметь правильно использовать директиву host, которую соблюдает этот поисковик.

Чтобы правильно написать robots.txt, предлагаем вам изучить разделы этого сайта. Здесь собрана самая полезная информация о синтаксисе robots.txt, о формате robots.txt, примеры использования, а также описание основных поисковых роботов Рунета.

• Как работать с robots.txt — узнайте, что вы можете сделать, чтобы управлять роботами, которые посещают ваш веб-сайт.
• Роботы Рунета — разделы по роботам поисковых систем, популярных на просторах Рунета.
• Частые ошибки в robots.txt — список наиболее частых ошибок, допускаемых при написании файла robots.txt.
• ЧаВо по веб-роботам — часто задаваемые вопросы о роботах от пользователей, авторов и разработчиков.
• Ссылки по теме — аналог оригинального раздела "WWW Robots Related Sites”, но дополненый и расширенный, в основном по русскоязычной тематике.

Роботы рунета

 

В этом разделе будет копиться информация по наиболее активным роботам в Рунете. Если мы кого-то забыли – пишите, добавим.

Яндекс — Все о роботе Яндекса
Google — Все о роботе Goggle
Рамблер — Все о роботе Рамблера
MSN/Live — Все о роботе MSN/Live
Aport — Информация Апорт
Webalta — Вебальта вебмастеру
Yahoo! — о роботе Yahoo!

Turtle — Информация о Черепахе