Robots.txt

robots.txt - файл в корне сайта (например, https://arbcore.io/robots.txt), который содержит инструкции для поисковых ботов. Базовый синтаксис:

User-agent: *
Disallow: /admin/
Disallow: /private/
Allow: /
Sitemap: https://example.com/sitemap.xml

Что закрывают через robots.txt:

• Админ-панели (`/admin/`, `/wp-admin/`).
• Корзины и личные кабинеты.
• Технические разделы (CKEditor, AJAX-эндпоинты).
• Параметрические URL с UTM-метками.

Важно: Disallow не блокирует индексацию полностью, только обход. Для надёжной блокировки используют noindex в meta tags.