robots.txt — текстовый файл, размещаемый в корне сайта. Служит для указания поисковым роботам зоны, разрешённой или запрещённой для индексации.
ПредупреждениеДанный файл является только рекомендацией для поисковых систем и не блокирует доступ на уровне сервера
Без файла robots.txt
Используется файл robots.txt
Запретить весь сайт для индексации всеми роботами
User-agent: * Disallow: /
Разрешить всем роботам индексировать весь сайт
User-agent: * Disallow:
Рекомендуемый файл при большой посещаемости сайта
Содержит временные промежутки и задержки
User-agent: * Disallow: /administrator/ Request-rate: 1/10 # загружать не более одной страницы за 10 секунд Visit-time: 0000-0500 # загружать страницы только в промежуток с 0 до 5 утра по Гринвичу.