Что это
Краулер (Crawler, Bot, Spider) - программа, которая автоматически обходит интернет, скачивает HTML страниц, переходит по ссылкам, анализирует контент. Главные краулеры:
- Googlebot (Google).
- Bingbot (Microsoft).
- YandexBot (Яндекс).
- AhrefsBot, SemrushBot (SEO-сервисы).
Бюджет краулинга (crawl budget) - сколько страниц Google готов скачать с сайта за период. Большие сайты с медленной отдачей могут не успевать обходиться полностью - страдают позиции.
Для арбитража важно: ускорить сайт, оптимизировать sitemap, не плодить дубли.