Что такое Robots.txt

Плюсануть
Поделиться
Класснуть

Robots.txt – полностью оправдывает свое название, так как является инструкцией для поисковых устройств (роботов). Текстовый документ robots.txt заносится в корневую папку сайта и ведет управление поисковых роботов, и, в частности, запрещает индексацию разных частей сайта.

История возникновения robots.txt

Где-то в середине тех самых 90-х годов, во время развития поисковых сервисов в интернете выяснили, что работа поисковых роботов значительно затрудняет привычную работу с сайтами их пользователям. Как правило, это происходило потому что поисковик, индексируя какой-либо сайт, использовали все его содержимое, даже включая не такие важные для индексации странички. Позже появилась необходимость в создании более эффективного инструмента, который будет прямо указывать поисковой машине, на какие странички нужно обратить внимание, а какие можно проигнорировать. Уже в июне в 1994 году многие производители и администраторы поисковых систем, а также остальные заинтересованные структуры решили заключить соглашение о создании единого программного устройства, который будет управлять действиями поисковика на сайтах. Как следствие, появилось на свет соглашение в виде стандарта написания рабочих файлов robots.txt. Но, это не программа, а всего лишь текстовый файл, но довольно работоспособный.

Поисковые системы и robots.txt

Во время вхождения на какой-либо сайт, поисковая система. первым делом проанализирует структуру и обратится к файлу robots.txt. Внешне этот текстовый файл выглядит вот так:

User-agent: * Disallow: /tmp/ Disallow: /cgi-bin/

Данный пример показывает о запрете индексикации двух папок. Звездочка, находящаяся после слов User-agent гласит о том, что действия, указанные в robots.txt предназначены абсолютно для всех поисковых устройств. Вместо звездочки может быть также название какого-либо одного устройства. Уже в этом случает осуществление индексикации будет запрещено лишь указанному поисковику. Слово «Disallow» прямо гласит о запрете индексикации. Очень много весит черта после слова «Disallow» - слэш. Попробуем показать на примере. Запись пониже означает:

Запрет индексикации сайта абсолютно всеми устройствами. Но, если после «Disallow» и косой черты не будет указан слэш, то ситуация станет противоположной – сайт будет в таком случае разрешен для индексикации всеми устройствами. Стоит обращать колоссально внимание н наличие или отсутсвие слэша. Стоит также отметить, что есть и другие способы запретить индексикацию – с помощью атрибута nofollow и тег noindex. но поисковые роботы более лояльны к файлу robots.txt.

Источник новости: http://seowikipedia.su/

Плюсануть
Поделиться
Класснуть