Трафик, который никто не может назвать
Если внимательно посмотреть на logs application, вы найдете requests, которые не поддаются объяснению. Они приходят от clients без browser context. Их user-agent strings generic, empty или copied from a popular browser. Они не подписывают свои requests. Они не говорят, кто их отправил. Некоторые из них - безвредные scripts. Некоторые - agents, работающие на реальных пользователей. Некоторые - tools, которые вы бы предпочли вовсе не обслуживать.
Это unknown automated traffic, и большинство teams обрабатывают его одним из двух способов. Либо его незаметно считают human, что искажает analytics и пропускает risky activity, либо по умолчанию считают hostile, что блокирует legitimate users и agents вместе со всем остальным. У обоих подходов один и тот же недостаток: они подменяют отсутствующие evidence предположением.
Proof of Actor занимает противоположную позицию. Если evidence не позволяют сделать надежное determination, правильный ответ - Unknown, и Unknown должен быть видимым, измеряемым и обрабатываться осознанно. В blog post почему Unknown - это корректный result для AI traffic приведено полное обоснование.
Почему Unknown - это полноценный result
Proof of Actor classifies каждую interaction в один из четырех classes: Human, Human + AI, Agent или Unknown. Unknown - это не состояние ошибки и не пробел в продукте. Это осознанный result с точным значением: доступные evidence не позволяют сделать надежное determination.
Эта честность дает практические преимущества.
- Ваш analytics остаются точными. Счетчики Human и Agent включают только interactions с подтверждающими evidence, поэтому они означают именно то, что говорят.
- Ваш coverage можно измерять. Доля Unknown на каждом route показывает, где именно вам нужно больше evidence.
- Ваши policies безопаснее. Сомнительные случаи попадают в выбранный вами fallback, а не тихо считаются trusted или blocked на основе догадки.
Unknown никогда не преобразуется в Human и никогда по умолчанию не считается malicious. Подробнее об этом можно прочитать в glossary entry Unknown classification, в разделе Detection & Limitations и в статье почему Unknown - это корректный result для AI traffic. Примеры использования для websites и APIs показывают, как teams на практике задают fallbacks для Unknown.
Откуда берется неизвестный автоматизированный трафик
Понимание источников помогает решить, как его обрабатывать.
Unsigned automated clients
Подписание requests с помощью HTTP Message Signatures, определенных в RFC 9421, является optional, а IETF Web Bot Auth working group все еще стандартизирует, как automated clients должны проходить authentication таким способом. Без signature identity клиента опирается только на то, что он сам о себе сообщает.
Copied or generic user agents
User-agent strings очень легко подделать. Client, который утверждает, что является известным browser или crawler, может быть именно им, а может только имитировать его. Entry user-agent spoofing объясняет, почему один лишь этот header не может служить основанием для classification. Именно поэтому поисковые системы документируют отдельные methods verification: Google описывает reverse и forward DNS lookups плюс опубликованные IP ranges для verifying Googlebot, а Bing описывает ту же DNS check для verifying Bingbot.
Routes без integration
Если у route нет browser integration и нет server-side context beyond the basics, наблюдать просто меньше что. Unknown на таких routes - это признак coverage, а не threat.
Missing or delayed evidence
Timeout, blocked script или incomplete request могут оставить result без достаточных evidence. Proof of Actor сообщает об этом честно вместо того, чтобы заполнять пробел.
Как Proof of Actor делает Unknown управляемым
Proof of Actor организует свою работу в три capability. Каждая из них помогает при unknown automated traffic.
Detect: держите Unknown отдельно
Signals проверяются и помечаются по basis: verified, declared, inferred или unknown. Если их недостаточно для determination, result будет Unknown вместе с summary того, что было и чего не было available. Ничего не угадывается в другой class.
Understand: смотрите, где живет Unknown
Представление Understand показывает Unknown в каждом breakdown, по route и с течением времени. Вы можете увидеть, на каких routes больше всего unknown activity, как это меняется после добавления integration и какое evidence было доступно для отдельных interactions. Это превращает расплывчатое беспокойство в конкретную карту.
Route: выбирайте fallback для каждого route
Разные routes заслуживают разных fallbacks. Разумная отправная точка для многих applications:
- Public pages and documentation: разрешайте Unknown с вашими стандартными rate limits.
- Signup and onboarding: сохраняйте существующие checks и добавляйте review только тогда, когда этого требуют ваши собственные conditions.
- Account changes and other sensitive actions: опирайтесь на уже имеющиеся authentication и step-up controls, никогда не полагайтесь на догадку об actor.
- High-impact API operations: требуйте более сильные credentials или controls, которые уже поддерживает ваш API.
Guide по handling unknown traffic показывает, как проектировать эти fallbacks, включая выбор fail-open и fail-closed для каждого risk tier.
Как сокращать Unknown со временем
Цель не в том, чтобы убрать Unknown за одну ночь. Цель в том, чтобы сокращать его каждый месяц по правильным причинам.
- Добавляйте integrations там, где это важно. Browser integration на ключевых pages и server-side integration на ключевых routes увеличивают объем available evidence.
- Поддерживайте signed requests. По мере того как operators agents переходят на HTTP message signatures, traffic, который был Unknown, становится verified Agent traffic.
- Записывайте declarations в своем собственном app. Когда ваше application знает, что используется AI assistance, сообщайте об этом. Это точное и дешевое evidence.
- Предоставьте agents front door. Публикация структурированного path для agents побуждает их идентифицировать себя, а не сливаться с остальным traffic.
Поскольку Proof of Actor отслеживает Unknown по route, вы можете видеть каждое из этих изменений в numbers.
Как это работает
Каждая interaction проходит один и тот же evidence-first path, подробно описанный в разделе How It Works: ваше application получает request или event, integration собирает signals, доступные в этом context, signals нормализуются и classifies с явным basis, result записывается для analytics, а ваше application применяет собственный policy или просто наблюдает.
Timeouts и missing telemetry обрабатываются явно. Ваш integration использует fallback, который вы выбрали для этого route, и result никогда не повышается до Human только потому, что evidence отсутствовали.
Как выглядит хороший результат через несколько месяцев
Teams, которые хорошо работают с unknown automated traffic, обычно приходят к одному и тому же здоровому состоянию. Unknown - это известная величина на каждом важном route, которая отслеживается в той же dashboard, что и human и agent activity. Для каждого route есть письменный fallback, который product, platform и security teams согласовали вместе. Verified agent traffic растет по мере того, как больше operators подписывают свои requests, и таким agents обслуживают через структурированный path вместо scraping pages. Sensitive actions защищены authentication и step-up controls, которым уже доверяет application, а actor context используется как дополнительный input, а не как gatekeeper.
Что особенно важно, никто не гадает. Когда кто-то спрашивает, какая часть traffic на прошлой неделе была automated, ответ приходит вместе со своим basis: столько-то verified, столько-то declared, столько-то inferred и столько-то still Unknown. Это число, вокруг которого team может планировать. Оно также меняет разговор с руководством, потому что вопрос перестает быть вопросом о том, являются ли bots проблемой, и становится вопросом о том, какие routes заслуживают большего объема evidence и какие fallbacks нужно доработать.
Начните в observation mode
Proof of Actor по умолчанию ничего не блокирует. В observation mode results записываются, а ваше application отвечает точно так же, как и раньше. Ваша team видит, сколько unknown automated traffic получает каждый route, сопоставляет это с уже известными outcomes и проектирует fallbacks на основе реальных patterns. Policies включаются по одному route за раз, только когда ваша team уверена, что они подходят.
Присоединяйтесь к founding developer program
Proof of Actor находится в private beta. Отобранные founding developer teams могут получить до 12 months бесплатного доступа в рамках согласованных usage limits в обмен на практическую product feedback, а также прямую integration support от наших engineers.
Если unknown automated traffic искажает ваши analytics или ваши security decisions, подайте заявку на early access. Расскажите нам о своем application и о тех routes, где Unknown важнее всего.
Изучите Proof of Actor, прочитайте how it works или посмотрите, что может установить evidence.
Источники
- RFC 9421: HTTP Message Signatures, IETF, February 2024.
- Web Bot Auth (webbotauth) working group charter, IETF.
- Verifying Googlebot and other Google crawlers, Google Search Central.
- How to verify that Bingbot is Bingbot, Bing Webmaster Blog.