Файл robots.txt является набором инструкций для программ-роботов, сканирующих все WEB ресурсы сети Интернет, в том числе и ваш сайт. Поисковые алгоритмы таких интернет-гигантов поиска, как Google и Bing, используют Web-роботы для индексации всех страниц, которые они находят в Сети. По умолчанию, эти роботы пытаются проанализировать весь ваш сайт. В тоже время, большинство сайтов имеют такую информацию, которая не должна быть проиндексирована, так как является либо техническими данными администратора сайта, либо просто не подлежит публикации. Файл robots.txt позволяет определить, какие ресурсы сайта не должны попасть в индексацию роботами. Стоит учитывать, что разные вредоносные и шпионские роботы могут игнорировать инструкции этого файла, поэтому не используйте его для закрытия доступа к секретным данным.

Инструкция Читать далее Как создать файл robots.txt для Web-сайта? →