Бесплатная проверка
Посмотрим, есть ли файл, не закрыт ли сайт от поисковых систем целиком и указана ли в нём карта сайта.
Без регистрации. Проверяется весь набор, результат откроется на нужной строке. Нажимая кнопку, вы принимаете политику конфиденциальности.
Строка «Disallow: /» на копии сайта — нормальная практика: тестовый стенд не должен попадать в индекс. Проблема в том, что вместе с релизом она регулярно уезжает на боевой сайт. Сайт при этом работает, отвечает 200 OK и выглядит совершенно здоровым — а из выдачи исчезает за считанные недели. Это самая дорогая опечатка в вебе, и замечают её позже всех остальных.
Поломка случится не сегодня, а в тот день, когда её никто не будет искать. Поставьте сайт на постоянный контроль — и узнавайте о ней раньше клиента. Тридцать дней бесплатно, проверка каждые пять минут.
Начать бесплатноМожет — и делает это не мгновенно, а за несколько недель, поэтому связь с релизом обычно теряется. К моменту, когда падение трафика заметили, вспомнить, что месяц назад выкатывали, уже трудно. Именно поэтому проверку имеет смысл держать постоянной.
Disallow запрещает обход, но не индексацию: страницу, о которой поисковик узнал по ссылке, он может показать в выдаче и не заходя на неё. Закрыть страницу от показа надёжно можно только мета-тегом robots или заголовком X-Robots-Tag — и для этого страница должна быть доступна роботу.
Если на сайт идёт реклама — да. Она склеивает адреса с метками кампаний в один, иначе одна страница попадает в индекс десятком дублей. Директиву понимает Яндекс; Google для того же использует канонический адрес.
В мониторинге — на каждом полном прогоне, то есть раз в сутки, а изменение содержимого отмечается отдельно. Чаще смысла нет: robots.txt между двумя проверками не меняется сам по себе.