что означает строки в robots.txt

seo yandex robots администрирован disallow

User-agent: *
Disallow: /http/
Disallow: /https/
Disallow: /users/
Ответы:
Не индексить папки на сервере при любом Агенте: /http/, /https/, /users/ .
Это команды для захвата мира Скайнетом. Срочно удаляйте
Добавлю к добавлению TIgorIA
Правильное замечание, но неправильный вывод. Содержимое robots.txt ПС рассматривает не как запрет парсить, а как указание "не учитывать" информацию по данному адресу).
А парсят, враги (роботы поисковиков), поверьте - всё что парсится. ;)


15 лет назад

RPI.su - самая большая русскоязычная база вопросов и ответов. Наш проект был реализован как продолжение популярного сервиса otvety.google.ru, который был закрыт и удален 30 апреля 2015 года. Мы решили воскресить полезный сервис Ответы Гугл, чтобы любой человек смог публично узнать ответ на свой вопрос у интернет сообщества.

Все вопросы, добавленные на сайт ответов Google, мы скопировали и сохранили здесь. Имена старых пользователей также отображены в том виде, в котором они существовали ранее. Только нужно заново пройти регистрацию, чтобы иметь возможность задавать вопросы, или отвечать другим.

Чтобы связаться с нами по любому вопросу О САЙТЕ (реклама, сотрудничество, отзыв о сервисе), пишите на почту [email protected]. Только все общие вопросы размещайте на сайте, на них ответ по почте не предоставляется.