O tráfego que ninguém consegue nomear
Olhe de perto os logs de uma aplicação e você encontrará requests que resistem à explicação. Eles vêm de clients sem contexto de browser. Seus user-agent strings são genéricas, vazias ou copiadas de um browser popular. Eles não assinam seus requests. Não dizem quem os enviou. Alguns são scripts inofensivos. Alguns são agents trabalhando para usuários reais. Alguns são tools que você preferiria não atender de forma alguma.
Isso é tráfego automatizado desconhecido, e a maioria das equipes o trata de uma de duas formas. Ou ele é contado silenciosamente como humano, o que distorce a analytics e deixa passar atividades de risco, ou é tratado como hostil por padrão, o que bloqueia usuários e agents legítimos junto com todo o resto. Ambas as abordagens compartilham a mesma falha: substituem evidência ausente por uma suposição.
Proof of Actor adota a visão oposta. Se a evidência não sustenta uma determinação confiável, a resposta correta é Unknown, e Unknown deve ser visível, mensurável e tratado de propósito. O post por que Unknown é um resultado válido para tráfego de AI apresenta o argumento completo.
Por que Unknown é um resultado de primeira classe
Proof of Actor classifica cada interaction em uma de quatro classes: Human, Human + AI, Agent ou Unknown. Unknown não é um estado de erro nem uma lacuna no product. É um resultado deliberado com um significado preciso: a evidência disponível não sustenta uma determinação confiável.
Essa honestidade traz benefícios práticos.
- Sua analytics permanece precisa. As contagens de Human e Agent incluem apenas interactions com evidência de suporte, então significam o que dizem.
- Sua cobertura é mensurável. A parcela de Unknown em cada route mostra exatamente onde você precisa de mais evidência.
- Suas policies ficam mais seguras. Casos incertos fluem para um fallback que você escolheu, em vez de serem silenciosamente tratados como confiáveis ou bloqueados por um palpite.
Unknown nunca é convertido em Human, e nunca é tratado como malicioso por padrão. Você pode ler mais na entrada de glossário Unknown classification, em Detection & Limitations e em por que Unknown é um resultado válido para tráfego de AI. Os casos de uso de websites e APIs mostram como as equipes definem fallbacks para Unknown na prática.
De onde vem o tráfego automatizado desconhecido
Entender as origens ajuda você a decidir como tratá-lo.
Clients automatizados não assinados
A assinatura de requests com HTTP Message Signatures, definida em RFC 9421, é opcional, e o grupo de trabalho IETF Web Bot Auth ainda está padronizando como clients automatizados devem se autenticar dessa forma. Sem uma assinatura, a identidade de um client depende apenas do que ele escolhe dizer sobre si mesmo.
User agents copiados ou genéricos
User-agent strings são triviais de definir. Um client que afirma ser um browser ou crawler conhecido pode ser exatamente isso, ou pode estar o imitando. A entrada user-agent spoofing explica por que esse header sozinho não pode sustentar uma classificação. É também por isso que os mecanismos de busca documentam métodos separados de verificação: o Google descreve consultas reverse e forward DNS, além de faixas de IP publicadas, para verificar o Googlebot, e o Bing descreve a mesma checagem DNS para verificar o Bingbot.
Routes sem integração
Se uma route não tem integração de browser nem contexto do lado do servidor além do básico, simplesmente há menos para observar. Unknown nessas routes é um sinal de cobertura, não de ameaça.
Evidência ausente ou atrasada
Um timeout, um script bloqueado ou um request incompleto podem deixar um resultado sem evidência suficiente. Proof of Actor relata isso com honestidade em vez de preencher a lacuna.
Como Proof of Actor torna Unknown administrável
Proof of Actor organiza seu trabalho em três capacidades. Cada uma delas ajuda com tráfego automatizado desconhecido.
Detect: mantenha Unknown separado
Os sinais são verificados e rotulados por base: verified, declared, inferred ou unknown. Quando eles não sustentam uma determinação, o resultado é Unknown com um resumo do que estava e do que não estava disponível. Nada é suposto em outra classe.
Understand: veja onde Unknown vive
A view Understand mostra Unknown em cada detalhamento, por route e ao longo do tempo. Você pode ver quais routes têm mais atividade desconhecida, como isso muda depois que você adiciona uma integração e qual evidência estava presente em interactions individuais. Isso transforma uma preocupação vaga em um mapa concreto.
Route: escolha o fallback por route
Routes diferentes merecem fallbacks diferentes. Um ponto de partida razoável para muitas aplicações:
- Páginas públicas e documentação: permita Unknown com seus rate limits padrão.
- Cadastro e onboarding: mantenha suas checagens existentes e adicione review apenas quando suas próprias condições pedirem isso.
- Alterações de conta e outras ações sensíveis: confie na autenticação existente e nos controles de step-up, nunca em um palpite sobre o actor.
- Operações de API de alto impacto: exija as credenciais ou controles mais fortes que sua API já suporta.
O guia sobre como lidar com tráfego desconhecido explica como desenhar esses fallbacks, incluindo escolhas fail-open e fail-closed para cada nível de risco.
Reduzindo Unknown ao longo do tempo
O objetivo não é eliminar Unknown da noite para o dia. É torná-lo menor a cada mês, pelos motivos certos.
- Adicione integrações onde importa. Uma integração de browser nas páginas principais e uma integração do lado do servidor nas routes críticas aumentam a evidência disponível.
- Ofereça suporte a signed requests. À medida que operadores de agents adotam HTTP message signatures, o tráfego que era Unknown se torna tráfego Agent verificado.
- Registre declarações no seu próprio app. Quando sua aplicação sabe que há assistência de AI envolvida, informe isso. Essa evidência é precisa e barata.
- Ofereça aos agents uma porta de entrada. Publicar um caminho estruturado para agents incentiva que eles se identifiquem em vez de se misturarem ao restante.
Como o Proof of Actor acompanha Unknown por route, você consegue ver cada uma dessas mudanças nos números.
Como funciona
Toda interaction segue o mesmo caminho orientado à evidência, descrito por completo em How It Works: sua aplicação recebe um request ou event, a integração coleta os sinais disponíveis naquele contexto, os sinais são normalizados e classificados com uma base explícita, o resultado é registrado para analytics e sua aplicação aplica sua própria policy ou simplesmente observa.
Timeouts e telemetria ausente são tratados explicitamente. Sua integração usa o fallback que você escolheu para aquela route, e o resultado nunca é promovido para Human porque faltou evidência.
Como é um bom cenário depois de alguns meses
Equipes que lidam bem com tráfego automatizado desconhecido tendem a chegar ao mesmo estado saudável. Unknown é uma quantidade conhecida em cada route importante, acompanhada no mesmo dashboard que a atividade humana e de agents. Cada route tem um fallback documentado que as equipes de product, platform e security aprovaram juntas. O tráfego Agent verificado cresce à medida que mais operadores assinam seus requests, e esses agents são atendidos por um caminho estruturado em vez de fazer scraping de páginas. Ações sensíveis são protegidas pela autenticação e pelos controles de step-up em que a aplicação já confia, com o contexto do actor como um input adicional, e não como um porteiro.
O mais importante é que ninguém está adivinhando. Quando alguém pergunta quanto do tráfego da semana passada era automatizado, a resposta vem com sua base: tanto verificado, tanto declarado, tanto inferred e tanto ainda Unknown. Esse é um número com o qual uma equipe pode planejar. Ele também muda a conversa com a liderança, porque a pergunta deixa de ser se bots são um problema e passa a ser quais routes merecem mais evidência e quais fallbacks precisam de refinamento.
Comece no modo de observação
Proof of Actor não bloqueia nada por padrão. No modo de observação, os resultados são registrados enquanto sua aplicação responde exatamente como antes. Sua equipe vê quanto tráfego automatizado desconhecido cada route recebe, compara isso com outcomes que vocês já conhecem e desenha fallbacks com base em padrões reais. As policies são habilitadas uma route de cada vez, apenas quando sua equipe tem confiança de que se encaixam.
Participe do programa Founding Developer
Proof of Actor está em beta privado. As equipes selecionadas para o Founding Developer Program podem receber até 12 months de acesso gratuito, dentro dos limites de uso acordados, em troca de feedback prático sobre o product, com suporte direto de integração de nossos engineers.
Se o tráfego automatizado desconhecido estiver prejudicando sua analytics ou suas decisões de security, candidate-se ao acesso antecipado. Conte-nos sobre sua aplicação e sobre as routes em que Unknown mais importa.
Explore Proof of Actor, leia como funciona ou veja o que a evidência pode estabelecer.
Fontes
- RFC 9421: HTTP Message Signatures, IETF, February 2024.
- Web Bot Auth (webbotauth) working group charter, IETF.
- Verifying Googlebot and other Google crawlers, Google Search Central.
- How to verify that Bingbot is Bingbot, Bing Webmaster Blog.