Код

Генератор robots.txt

Соберите файл robots.txt с правилами доступа и ссылкой на sitemap.

Sitemap URLUser-agent

Disallow (по одному пути в строке)Allow (по одному пути в строке)

robots.txt

User-agent: *
Disallow: /admin/
Disallow: /cgi-bin/

Sitemap: https://example.com/sitemap.xml