Отмеченные статьи: robots.txt

robots.txt — текстовый файл, размещаемый в корне сайта. Служит для указания поисковым роботам зоны, разрешённой или запрещённой для индексации.