Статьи о работе с файлом robots.txt и распространённых ошибках в его написании. Информация о поисковых роботах Рунета. Ответы на часто задаваемые вопросы.
robotstxt.org.ru
Yandex Google Bing Mail.ru Рамблер