Что такое обнаружение ботов
Обнаружение ботов - это набор методов, которые позволяют отличать автоматизированный трафик от человеческого. У него долгая история в веб-безопасности: противодействие credential stuffing, scraping, fake signups, inventory hoarding и spam, все это входит в таксономию OWASP Automated Threats to Web Applications. Типичные входные данные включают репутацию IP, частоту запросов, отпечатки заголовков и протокола, проверки окружения браузера и сигналы взаимодействия. Типичные выходные данные - это оценка или вердикт, которые часто напрямую подключают к блокировке, проверке или разрешению.
Почему это было устроено именно так
Классическое обнаружение ботов выросло из одного предположения: автоматизированный трафик в основном враждебен, а задача состоит в том, чтобы не пускать его внутрь. Это предположение сделало единый bot score, применяемый на границе, разумной архитектурой. Если запрос выглядит как автоматизированный, его проверяют CAPTCHA или блокируют.
Почему этой модели уже недостаточно
Сейчас приложения получают гораздо более широкий набор акторов:
- люди, которые обычно просматривают сайт,
- люди, работающие с AI assistants, которые читают, пишут черновики или заполняют формы от их имени,
- законные агенты и краулеры, которые идентифицируют себя, иногда с помощью signed requests,
- автономные агенты, выполняющие задачи для пользователей,
- неизвестные клиенты, природу которых доказательства не позволяют установить.
Двоичный bot score плохо описывает такую картину. В нашей статье Human, AI-assisted or agent: a practical taxonomy for application traffic предложена альтернатива. Блокировка каждого автоматизированного запроса отсекает законных участников; разрешение всех запросов лишает систему полезного контроля. А уверенный вердикт на слабых доказательствах приводит к false positives, которые затрагивают реальных пользователей.
Чем отличается actor intelligence
Actor intelligence задает более широкий вопрос: какой именно actor присутствует и что на самом деле показывают доказательства? От классического обнаружения ботов его отличают три вещи:
- Более богатые категории. Human, Human + AI, Agent и Unknown вместо разделения на человека и бота.
- Явная основа. Каждый результат показывает, опирается ли он на Verified, Declared или Inferred evidence, либо на отсутствие достаточных данных, так что криптографическая проверка никогда не смешивается с поведенческой догадкой.
- Раздельные решения. Результат помогает вашей policy приложения, а не навязывает одно поведение по умолчанию. Команды сначала наблюдают, затем принимают решение для каждого route.
Оба подхода могут сосуществовать. Крупные операторы краулеров уже поддерживают проверки, выходящие за рамки user-agent string, например проверку crawler verification by reverse DNS and IP range у Google, а signed requests расширяют эту идею на любого оператора. О сигналах, которые можно использовать уже сегодня, см. how to tell if website traffic comes from AI agents. Средства защиты от злоупотреблений на границе по-прежнему полезны; actor intelligence дает самому приложению контекст, чтобы выстроить правильный опыт для каждого типа взаимодействия.
Частые заблуждения
- "Agents - это просто bots." Некоторые из них злоупотребляют системой; многие - законные пользователи вашего продукта, действующие от чьего-то имени.
- "Bot score - это факт." Это inference с ошибками. Относитесь к нему как к evidence с уровнем уверенности, а не как к вердикту.
- "Unknown означает блокировать." Unknown означает, что доказательств недостаточно. Что произойдет дальше, должно быть явным решением для каждого route отдельно (см. fail open vs fail closed).
Как сюда вписывается Proof of Actor
Proof of Actor - это actor intelligence для apps, websites, APIs и MCP servers. Detect собирает сигналы и отделяет verified assertions от inferences; Understand показывает типы взаимодействий, тренды и доказательства; Route позволяет вашим собственным policy разрешать, адаптировать, проверять, просматривать или ограничивать конкретные взаимодействия. По умолчанию ничего не блокируется.
Ознакомьтесь с the product или apply for early access.
Источники
- OWASP Automated Threats to Web Applications: таксономия автоматизированных угроз, таких как credential stuffing, scraping и создание аккаунтов
- Google: Verifying Google's crawlers and fetchers: проверка краулеров, опубликованная оператором