audit.megaindex.ru - Термины и показатели - Robots.txt

Robots.txt – наличие текстового файла, который расположен на сайте и предназначен для роботов поисковых систем, производящих индексацию сайта.

Данный файл нужен для указания всем поисковым роботам (spiders) индексировать информационные сервера так, как определено в этом файле.

Файл должен содержать 0 или более записей, связанных с тем или иным роботом, которые указывают для каждого робота или для всех сразу, какие файлы им индексировать не нужно.