robots.txt — текстовый файл, размещаемый в корне сайта. Служит для указания поисковым роботам зоны, разрешённой или запрещённой для индексации.

ПредупреждениеДанный файл является только рекомендацией для поисковых систем и не блокирует доступ на уровне сервера

Без файла robots.txt

s_001

Используется файл robots.txt

s_002

Запретить весь сайт для индексации всеми роботами

User-agent: *
Disallow: /

Разрешить всем роботам индексировать весь сайт

User-agent: *
Disallow:

Рекомендуемый файл при большой посещаемости сайта

Содержит временные промежутки и задержки

User-agent: *
Disallow: /administrator/
Request-rate: 1/10          # загружать не более одной страницы за 10 секунд
Visit-time: 0000-0500       # загружать страницы только в промежуток с 0 до 5 утра по Гринвичу.

Добавить комментарий