На главную
Ссылки и SEO
Тестер robots.txt
Отвечает, закрыт ли конкретный адрес для конкретного робота, и показывает, какое правило сработало.
Что проверяем
Если заполнено, используется он
Проверка сразу нескольких адресов
Как решается спор правил
Побеждает самое длинное совпавшее правило, а при равной длине — разрешающее. Так написано в RFC 9309, так же ведут себя Google и Яндекс. Символ * заменяет любую последовательность, $ в конце привязывает правило к концу адреса.