Индексация сайта поисковыми роботами robots.txt — текстовый файл, размещаемый в корне сайта. Служит для указания поисковым роботам зоны, разрешённой или запрещённой для индексации. Читать далее →
