Seu website agora tem mais de um tipo de visitante
Durante a maior parte da história da web, um website podia assumir um modelo simples: uma pessoa abre um browser, navega e talvez faça login. Analytics, rate limits, fluxos de onboarding e verificações de segurança foram todos projetados em torno dessa pessoa.
Esse modelo já não descreve o tráfego real. Hoje um único website atende pessoas navegando por conta própria, pessoas que pedem a um assistente de IA para resumir ou preencher algo para elas, agentes autônomos que leem páginas e chamam endpoints em nome de outra pessoa, e uma longa cauda de crawlers e scripts. Os provedores de IA documentam vários desses visitantes por conta própria: a OpenAI, por exemplo, publica user agents separados para seu search crawler, seu training crawler e o fetcher que visita páginas quando um usuário do ChatGPT faz uma pergunta (documentação de crawler da OpenAI), e a Anthropic faz o mesmo para ClaudeBot, Claude-User e Claude-SearchBot (documentação de crawler da Anthropic). Alguns desses visitantes são bem-vindos. Alguns precisam de uma experiência diferente. Alguns exigem uma análise mais cuidadosa antes de poderem fazer algo sensível.
O desafio é que a maioria dessas interações parece semelhante à primeira vista. Um login informa qual account está em uso. Ele não informa se é uma pessoa clicando, se um assistente está agindo por meio dessa sessão ou se um cliente automatizado está lendo sua página de preços para um usuário em outro lugar. A detecção de agente de IA para websites trata de fechar essa lacuna com evidência, para que sua equipe possa responder de forma adequada a cada tipo de actor em vez de tratar todo o tráfego da mesma maneira. Para um passo a passo prático dos sinais envolvidos, leia como saber se o tráfego de website vem de agentes de IA, e veja o caso de uso para websites para entender como isso aparece em um site em produção.
Por que uma única pontuação de bot não é suficiente
Muitas ferramentas respondem a essa pergunta com um número: uma pontuação de bot, uma pontuação de risco, uma porcentagem que afirma descrever quão humano é um visitante. O apelo é óbvio. Um número é fácil de colocar em uma regra.
O problema é que um único número esconde o raciocínio. Quando uma pontuação diz que uma sessão provavelmente é automatizada, sua equipe não consegue ver se essa conclusão se apoia em uma assinatura verificada, em uma string de user-agent que qualquer pessoa pode copiar ou em um padrão que também corresponde a um digitador humano rápido. Quando essa pontuação aciona um bloqueio ou um desafio, você herda todos os erros dela sem ter como explicá-los a um cliente, colega ou auditor.
Proof of Actor segue uma abordagem diferente. Cada resultado é uma de quatro classes claras, explicadas em Humano, assistido por IA ou agente: uma taxonomia para o tráfego de apps, e cada resultado informa em que ele se baseia. Você vê a conclusão e a evidência juntas, o que significa que pode confiar em resultados fortes, questionar os fracos e criar políticas que correspondam à qualidade da evidência.
Como detectar agentes de IA no seu website em quatro etapas
Você pode começar a detectar agentes de IA no seu website com as ferramentas que já tem. Estas quatro etapas são neutras em relação a fornecedor e funcionam com ou sem o Proof of Actor; o post como saber se o tráfego de website vem de agentes de IA detalha cada uma delas com mais profundidade.
- Liste os agentes que se identificam. Pesquise nos logs do seu server ou CDN pelos user agents que os provedores de IA publicam. A OpenAI documenta OAI-SearchBot, GPTBot e ChatGPT-User, e informa que o ChatGPT-User visita páginas quando um usuário faz uma pergunta ao ChatGPT, em vez de fazer crawling automaticamente. A Anthropic documenta ClaudeBot, Claude-User e Claude-SearchBot. Isso lhe dá uma primeira visão declarada do tráfego de agent por route.
- Verifique as declarações em vez de confiar na string. Um user agent é autodeclarado e fácil de copiar. Compare-o com o método de verificação do próprio operador: o Google descreve uma busca reversa de DNS seguida por uma busca direta de DNS, além de arquivos publicados de faixas de IP, para o Googlebot (Google: verifying Googlebot); a Bing descreve a mesma verificação DNS reversa e direta para o Bingbot (Bing: verifying Bingbot); a OpenAI publica arquivos de faixas de IP para cada um de seus user agents. Quando um client assina suas requisições com HTTP Message Signatures, definido em RFC 9421, verifique a assinatura com a chave publicada do operador.
- Rotule cada resultado com sua evidência e mantenha Unknown. Registre se cada conclusão é verified, declared ou inferred. O tráfego que não corresponder a nenhum agent verified ou declared e não mostrar um padrão humano claro deve ser rotulado como Unknown, e não forçado para humano ou bot. Esta é a etapa que separa um relatório útil de um palpite.
- Observe por route antes de agir. Separe os resultados por route e workflow por algumas semanas: conteúdo público, signup, configurações de account, APIs. Só então escreva uma política estreita para a route em que o contexto de actor mais importa, com um fallback explícito para Unknown.
Proof of Actor automatiza essas etapas dentro da sua aplicação: ele coleta os sinais que sua integração consegue ver, retorna uma classe com sua base, acompanha Unknown por route e deixa a política para o seu código.
Como o Proof of Actor detecta agentes de IA em websites
Proof of Actor é construído em torno de um caminho simples: os sinais que sua integração pode observar, uma classificação com uma base explícita e uma decisão que permanece em suas mãos. Você pode ler o fluxo completo na página Como funciona. Aqui está a versão resumida.
Sinais da sua integração
Cada integração vê o que o seu contexto permite. Uma integração no lado do server vê o contexto da requisição, detalhes do protocolo e, quando um client oferece suporte, uma assinatura de requisição. Uma integração no browser vê sinais de interação nas páginas em que ela roda. Uma aplicação também pode registrar suas próprias declarações, como um usuário marcando conteúdo como elaborado com assistência de IA, ou um client de agent se identificando.
Proof of Actor trabalha com a evidência que realmente está presente. Ele não finge ver coisas que o seu website não pode observar.
Quatro classes que significam algo específico
Cada interação cai em uma das quatro classes:
- Human: os sinais observáveis indicam uma interação conduzida por humano.
- Human + AI: assistência de IA foi declarada ou observada por meio de uma integração suportada que consegue vê-la.
- Agent: interação automatizada ou originada por agent, com suporte de identidade verificável ou de uma inferência cuidadosamente qualificada.
- Unknown: a evidência disponível não sustenta uma determinação confiável.
Cada classe vem com uma definição clara e um limite claro. Um resultado Human não é uma identidade verificada. Um resultado Agent não é uma afirmação de que o agent está autorizado. Um resultado Unknown não é uma acusação. Você pode ler a taxonomia completa na página Detection & Limitations.
Uma base em cada resultado
Ao lado da classe, cada resultado carrega sua base: verified, declared, inferred ou unknown. Uma requisição que carrega uma assinatura válida de uma chave publicada é verified para essa verificação. Um client que se identifica como agent o declarou. Um padrão de comportamento consistente com automação é uma inferência. Essa distinção é o que permite que suas políticas sejam precisas. Um agent assinado verified em uma route somente de leitura e um client autodeclarado em uma página de configurações de account não devem ser tratados da mesma forma, e com o Proof of Actor eles não precisam ser. A entrada do glossário base da evidência explica cada uma com mais detalhes.
O que sua equipe ganha: Detect, Understand, Route
Proof of Actor é um único produto com três capacidades que trabalham em conjunto.
Detect
Colete os sinais de actor disponíveis para a sua integração e separe as afirmações verificadas das inferências comportamentais. O tráfego Unknown permanece visível como sua própria categoria, em vez de ser convertido em um palpite. Você sempre sabe quais interações pode descrever com confiança e quais precisam de mais evidência.
Understand
Veja seu tráfego de agent de IA em contexto. Explore tipos de interação por route e por tempo, acompanhe tendências em atividade humana, assistida por IA, de agent e Unknown, e abra qualquer classificação para ver o que é conhecido, o que não é conhecido e em que o resultado se baseia. É aqui que as equipes de produto, plataforma e segurança obtêm uma visão compartilhada e explicável de quem está usando o website.
Route
Use suas próprias políticas para permitir, adaptar, challenge, review ou limitar interações específicas. Sirva uma resposta estruturada para um agent verified que está lendo sua documentação. Mantenha a experiência padrão para sessões conduzidas por humano. Solicite uma verificação mais forte em uma alteração sensível de account quando suas próprias condições pedirem isso. Escolha um fallback explícito para resultados Unknown e para timeouts, route por route. A enforcement sempre acontece na sua aplicação, sob políticas que sua equipe confirma.
Projetado para se encaixar no seu website, não para substituí-lo
Proof of Actor fica ao lado das ferramentas que você já executa. Ele não substitui sua autenticação, seu modelo de autorização ou seus controles de abuso existentes. Ele adiciona contexto de actor a eles.
Uma integração típica em website começa nas routes em que o contexto de actor importa mais: conteúdo público que agents leem intensamente, fluxos de signup e onboarding, configurações de account e outras ações sensíveis, e qualquer API que alimenta o site. As equipes fundadoras trabalham com nossos engenheiros para escolher essas routes, concordar com os sinais em escopo e confirmar como os dados são tratados antes que qualquer código entre em produção.
Como a camada de decisão vive no seu código, você continua no controle da experiência. Você pode mostrar os resultados em um dashboard interno por semanas antes de mudar qualquer regra, depois ativar uma única política estreita para uma route, e então expandir quando os resultados tiverem conquistado sua confiança. O guia sobre como lidar com tráfego Unknown mostra como desenhar essas primeiras regras.
Comece em modo de observação
A maneira mais rápida de obter valor com a detecção de agente de IA é começar observando, não bloqueando. No modo de observação, o Proof of Actor registra resultados enquanto seu website responde exatamente como responderia sem ele. Sua equipe pode então comparar as classificações com resultados que já entende: tickets de suporte, integrações conhecidas, ferramentas internas e os crawlers que já reconhece.
Isso lhe dá três coisas antes de qualquer enforcement:
- Uma linha de base. Quanto do seu tráfego é conduzido por humano, assistido por IA, orientado por agent ou Unknown, por route.
- Confiança na evidência. Quais sinais são fortes no seu website e onde a cobertura precisa crescer.
- Melhores políticas. Regras projetadas em torno de padrões reais, e não de suposições, com falsos positivos revisados antes que alguém seja afetado.
Quando uma política estiver pronta, você a habilita para o workflow específico para o qual ela foi projetada e mantém a capacidade de ajustá-la a qualquer momento.
Por que a detecção baseada em evidência vence pontuações opacas
Os websites já atendem agents, assistentes e pessoas trabalhando com IA lado a lado. As equipes que fazem isso bem não serão as que tiverem os filtros mais agressivos. Serão as que conseguirem explicar suas decisões.
Resultados baseados em evidência lhe dão essa explicação. Quando um agente de suporte pergunta por que um usuário viu uma etapa extra de verificação, você pode apontar para a evidência e para a política aplicada. Quando um operador de agent pergunta por que suas requisições assinadas receberam uma resposta estruturada, você pode mostrar a base verified. Quando a evidência é fraca, o resultado diz Unknown, e seu fallback lida com isso de uma maneira que você escolheu deliberadamente.
Essa abordagem também escala com a web. À medida que mais operadores de agent assinam suas requisições e trabalhos de padronização como o grupo de trabalho do IETF Web Bot Auth, que tem o objetivo de padronizar autenticação criptográfica para clients automatizados, avançam sobre HTTP message signatures, mais do seu tráfego passa de inferred ou Unknown para verified, e suas políticas se tornam mais precisas sem precisar ser reescritas.
Junte-se ao programa de developer fundador
Proof of Actor está em beta privado com um pequeno grupo de equipes de aplicação. Developers fundadores selecionados podem receber até 12 months de acesso gratuito, dentro dos limites de uso acordados, em troca de feedback prático sobre o produto. Você recebe suporte direto de integração dos nossos engenheiros, acesso antecipado a recursos conforme eles ficam disponíveis e influência real sobre o que construímos em seguida.
Se o seu website atende pessoas, usuários assistidos por IA e agents, e você quer saber quem o está usando antes de decidir o que acontece em seguida, candidate-se ao acesso antecipado. Conte-nos sobre o seu website e a interação que mais deseja entender, e nós analisaremos se ele se encaixa no beta atual.
Quer ver os detalhes primeiro? Explore Proof of Actor, leia como funciona ou revise exatamente o que a evidência pode e não pode estabelecer.
Fontes
- RFC 9421: HTTP Message Signatures, IETF, February 2024.
- Web Bot Auth (webbotauth) working group charter, IETF.
- Overview of OpenAI crawlers, OpenAI.
- Does Anthropic crawl data from the web, and how can site owners block the crawler?, Anthropic.
- Verifying Googlebot and other Google crawlers, Google Search Central.
- How to verify that Bingbot is Bingbot, Bing Webmaster Blog.