Votre site web a désormais plus d'un type de visiteur
Pendant la plus grande partie de l'histoire du web, un site web pouvait partir d'un modèle simple: une personne ouvre un navigateur, clique ici et là, puis se connecte peut-être. Les analyses, les limites de débit, les parcours d'onboarding et les contrôles de sécurité ont tous été conçus autour de cette personne.
Ce modèle ne décrit plus le trafic réel. Aujourd'hui, un seul site web sert des personnes qui naviguent seules, des personnes qui demandent à un assistant IA de résumer quelque chose ou de le remplir pour elles, des agents autonomes qui lisent des pages et appellent des endpoints au nom de quelqu'un d'autre, ainsi qu'une longue queue de crawlers et de scripts. Les fournisseurs d'IA documentent eux-mêmes plusieurs de ces visiteurs: OpenAI, par exemple, publie des user agents distincts pour son crawler de recherche, son crawler d'entraînement et le fetcher qui visite les pages lorsqu'un utilisateur de ChatGPT pose une question (OpenAI crawler documentation), et Anthropic fait de même pour ClaudeBot, Claude-User et Claude-SearchBot (Anthropic crawler documentation). Certains de ces visiteurs sont les bienvenus. D'autres nécessitent une expérience différente. D'autres encore méritent un examen plus attentif avant de pouvoir faire quoi que ce soit de sensible.
Le défi est que la plupart de ces interactions se ressemblent au premier abord. Une connexion vous indique quel compte est utilisé. Elle ne vous dit pas si une personne clique, si un assistant agit via cette session, ou si un client automatisé lit votre page de tarifs pour un utilisateur situé ailleurs. La détection d'agents IA pour les sites web vise à combler cet écart avec des éléments de preuve, afin que votre équipe puisse répondre à chaque type d'acteur de manière appropriée plutôt que de traiter tout le trafic de la même façon. Pour un déroulé pratique des signaux en jeu, lisez comment savoir si le trafic d'un site web provient d'agents IA, et consultez le cas d'usage sites web pour voir à quoi cela ressemble sur un site de production.
Pourquoi un simple score de bot ne suffit pas
De nombreux outils répondent à cette question avec un seul nombre: un score de bot, un score de risque, un pourcentage qui prétend décrire à quel point un visiteur est humain. L'attrait est évident. Un nombre est facile à utiliser dans une règle.
Le problème est qu'un nombre unique masque le raisonnement. Lorsqu'un score indique qu'une session est probablement automatisée, votre équipe ne peut pas voir si cette conclusion repose sur une signature vérifiée, sur une chaîne user-agent que n'importe qui peut copier, ou sur un schéma qui correspond aussi à un humain qui tape vite. Quand ce score déclenche un blocage ou un challenge, vous héritez de chaque erreur qu'il commet sans aucun moyen de l'expliquer à un client, à un collègue ou à un auditeur.
Proof of Actor adopte une autre approche. Chaque résultat appartient à l'une des quatre classes claires, expliquées dans Human, AI-assisted or agent: a taxonomy for app traffic, et chaque résultat indique sur quoi il repose. Vous voyez la conclusion et les éléments de preuve ensemble, ce qui signifie que vous pouvez faire confiance aux résultats solides, remettre en question les plus fragiles et construire des politiques qui correspondent à la qualité des éléments de preuve.
Comment détecter des agents IA sur votre site web en quatre étapes
Vous pouvez commencer à détecter des agents IA sur votre site web avec les outils que vous avez déjà. Ces quatre étapes sont neutres vis-à-vis des fournisseurs et fonctionnent que vous utilisiez ou non Proof of Actor; l'article de blog comment savoir si le trafic d'un site web provient d'agents IA couvre chacune d'elles plus en détail.
- Répertoriez les agents qui s'identifient eux-mêmes. Recherchez dans vos journaux serveur ou CDN les user agents publiés par les fournisseurs d'IA. OpenAI documente OAI-SearchBot, GPTBot et ChatGPT-User, et précise que ChatGPT-User visite des pages lorsqu'un utilisateur pose une question à ChatGPT plutôt que d'explorer automatiquement. Anthropic documente ClaudeBot, Claude-User et Claude-SearchBot. Cela vous donne un premier aperçu déclaré du trafic d'agents par route.
- Vérifiez les affirmations au lieu de faire confiance à la chaîne. Un user agent est auto-déclaré et facile à copier. Vérifiez-le à l'aide de la méthode de vérification propre à l'opérateur: Google décrit une recherche DNS inversée suivie d'une recherche DNS directe, ainsi que des fichiers publics de plages IP, pour Googlebot (Google: verifying Googlebot); Bing décrit le même contrôle DNS inverse et direct pour Bingbot (Bing: verifying Bingbot); OpenAI publie des fichiers de plages IP pour chacun de ses user agents. Lorsqu'un client signe ses requêtes avec HTTP Message Signatures, définies dans RFC 9421, vérifiez la signature à l'aide de la clé publiée par l'opérateur.
- Étiquetez chaque résultat avec son fondement et conservez Unknown. Enregistrez si chaque conclusion est verified, declared ou inferred. Le trafic qui ne correspond à aucun agent vérifié ou déclaré et qui ne montre aucun schéma humain clair doit être étiqueté Unknown, et non forcé dans humain ou bot. C'est cette étape qui transforme un rapport utile en simple hypothèse.
- Observez par route avant d'agir. Répartissez les résultats par route et par workflow pendant quelques semaines: contenu public, inscription, paramètres du compte, API. Ce n'est qu'ensuite que vous rédigez une politique étroite pour la route où le contexte d'acteur compte le plus, avec un repli explicite pour Unknown.
Proof of Actor automatise ces étapes dans votre application: il collecte les signaux que votre intégration peut voir, renvoie une classe avec son fondement, suit Unknown par route et laisse la politique à votre code.
Comment Proof of Actor détecte les agents IA sur les sites web
Proof of Actor est construit autour d'un chemin simple: les signaux que votre intégration peut observer, une classification avec un fondement explicite et une décision qui reste entre vos mains. Vous pouvez lire le flux complet sur la page How It Works. Voici la version courte.
Signaux de votre intégration
Chaque intégration voit ce que son contexte autorise. Une intégration côté serveur voit le contexte de requête, les détails du protocole et, lorsqu'un client le prend en charge, une signature de requête. Une intégration navigateur voit les signaux d'interaction sur les pages où elle s'exécute. Une application peut aussi enregistrer ses propres déclarations, par exemple lorsqu'un utilisateur marque un contenu comme rédigé avec l'assistance de l'IA, ou lorsqu'un client agent se nomme lui-même.
Proof of Actor fonctionne avec les éléments de preuve réellement présents. Il ne prétend pas voir ce que votre site web ne peut pas observer.
Quatre classes qui ont un sens précis
Chaque interaction se classe dans l'une des quatre catégories:
- Human: les signaux observables indiquent une interaction pilotée par un humain.
- Human + AI: l'assistance IA a été déclarée, ou observée via une intégration prise en charge capable de la voir.
- Agent: interaction automatisée ou issue d'un agent, prise en charge par une identité vérifiable ou par une inférence soigneusement qualifiée.
- Unknown: les éléments de preuve disponibles ne permettent pas une détermination fiable.
Chaque classe s'accompagne d'une définition claire et d'une limite claire. Un résultat Human n'est pas une identité vérifiée. Un résultat Agent n'est pas une affirmation que l'agent est autorisé. Un résultat Unknown n'est pas une accusation. Vous pouvez lire la taxonomie complète sur la page Detection & Limitations.
Un fondement sur chaque résultat
En plus de la classe, chaque résultat porte son fondement: verified, declared, inferred ou unknown. Une requête qui porte une signature valide provenant d'une clé publiée est verified pour cette vérification. Un client qui se présente lui-même comme un agent l'a declared. Un schéma comportemental cohérent avec l'automatisation constitue une inferred. C'est cette distinction qui permet à vos politiques d'être précises. Un agent signé et vérifié sur une route en lecture seule et un client auto-déclaré sur une page de paramètres de compte ne doivent pas être traités de la même manière, et avec Proof of Actor, ils n'ont pas à l'être. L'entrée de glossaire evidence basis explique chacun de ces points plus en détail.
Ce que votre équipe obtient: Detect, Understand, Route
Proof of Actor est un seul produit avec trois capacités qui fonctionnent ensemble.
Detect
Collectez les signaux d'acteur disponibles pour votre intégration et séparez les affirmations vérifiées des inférences comportementales. Le trafic Unknown reste visible comme sa propre catégorie au lieu d'être intégré dans une hypothèse. Vous savez toujours quelles interactions vous pouvez commenter avec confiance et lesquelles nécessitent davantage d'éléments de preuve.
Understand
Voyez votre AI agent traffic dans son contexte. Explorez les types d'interaction par route et par période, suivez les tendances de l'activité humaine, assistée par IA, agent et Unknown, et ouvrez n'importe quelle classification pour voir ce qui est connu, ce qui ne l'est pas, et sur quoi repose le résultat. C'est ici que les équipes produit, plateforme et sécurité obtiennent une vue partagée et explicable de qui utilise le site web.
Route
Utilisez vos propres politiques pour allow, adapt, challenge, review ou limit des interactions spécifiques. Servez une réponse structurée à un agent vérifié qui lit votre documentation. Conservez l'expérience standard pour les sessions pilotées par un humain. Demandez une vérification plus forte pour une modification sensible d'un compte lorsque vos propres conditions l'exigent. Choisissez un repli explicite pour les résultats Unknown et pour les timeouts, route par route. L'enforcement se produit toujours dans votre application, selon des politiques que votre équipe confirme.
Conçu pour s'intégrer à votre site web, pas pour le remplacer
Proof of Actor se place à côté des outils que vous utilisez déjà. Il ne remplace pas votre authentification, votre modèle d'autorisation ni vos contrôles d'abus existants. Il leur ajoute le contexte d'acteur.
Une intégration de site web typique commence sur les routes où le contexte d'acteur compte le plus: contenu public largement consulté par des agents, parcours d'inscription et d'onboarding, paramètres de compte et autres actions sensibles, ainsi que toute API qui alimente le site. Les équipes fondatrices travaillent avec nos ingénieurs pour choisir ces routes, convenir des signaux pris en compte et confirmer la façon dont les données sont traitées avant toute mise en production.
Comme la couche de décision vit dans votre code, vous gardez le contrôle de l'expérience. Vous pouvez afficher les résultats dans un tableau de bord interne pendant des semaines avant tout changement de règle, puis activer une seule politique étroite pour une seule route, puis étendre une fois que les résultats ont mérité votre confiance. Le guide sur la gestion du trafic Unknown explique comment concevoir ces premières règles.
Commencez en mode observation
Le moyen le plus rapide d'obtenir de la valeur avec la détection d'agents IA est de commencer par observer, pas par bloquer. En mode observation, Proof of Actor enregistre les résultats pendant que votre site web se comporte exactement comme sans lui. Votre équipe peut alors comparer les classifications avec des résultats qu'elle comprend déjà: tickets de support, intégrations connues, outils internes et crawlers que vous reconnaissez déjà.
Cela vous donne trois choses avant toute enforcement:
- Une base de référence. Quelle part de votre trafic est pilotée par des humains, assistée par IA, conduite par des agents ou inconnue, par route.
- De la confiance dans les éléments de preuve. Quels signaux sont solides sur votre site web et où la couverture doit s'étendre.
- De meilleures politiques. Des règles conçues autour de schémas réels plutôt que d'hypothèses, avec des faux positifs examinés avant que quelqu'un ne soit affecté.
Lorsqu'une politique est prête, vous l'activez pour le workflow précis pour lequel elle a été conçue, et vous conservez la possibilité de l'ajuster à tout moment.
Pourquoi une détection fondée sur des éléments de preuve l'emporte sur des scores opaques
Les sites web servent déjà côte à côte des agents, des assistants et des personnes travaillant avec l'IA. Les équipes qui gèrent cela correctement ne seront pas celles qui ont les filtres les plus agressifs. Ce seront celles qui peuvent expliquer leurs décisions.
Des résultats fondés sur des éléments de preuve vous donnent cette explication. Quand un agent de support demande pourquoi un utilisateur a vu une étape de vérification supplémentaire, vous pouvez pointer vers les éléments de preuve et la politique appliquée. Quand un opérateur d'agent demande pourquoi ses requêtes signées ont reçu une réponse structurée, vous pouvez montrer le fondement vérifié. Quand les éléments de preuve sont minces, le résultat indique Unknown, et votre repli le gère de la manière que vous avez délibérément choisie.
Cette approche évolue aussi avec le web. À mesure que davantage d'opérateurs d'agents signent leurs requêtes et que des travaux de normalisation comme le groupe de travail IETF Web Bot Auth, dont le mandat est de standardiser l'authentification cryptographique pour les clients automatisés, s'appuient sur HTTP message signatures, une plus grande partie de votre trafic passe de inferred ou unknown à verified, et vos politiques deviennent plus précises sans devoir être réécrites.
Rejoignez le programme de développeurs fondateurs
Proof of Actor est en version bêta privée avec un petit groupe d'équipes produit. Les développeurs fondateurs sélectionnés peuvent recevoir jusqu'à 12 months d'accès gratuit, dans les limites d'usage convenues, en échange de retours produit concrets. Vous bénéficiez d'un support d'intégration direct de la part de nos ingénieurs, d'un accès anticipé aux capacités au fur et à mesure qu'elles deviennent disponibles et d'une influence réelle sur ce que nous construisons ensuite.
Si votre site web sert des personnes, des utilisateurs assistés par l'IA et des agents, et que vous voulez savoir qui l'utilise avant de décider de la suite, demandez un accès anticipé. Dites-nous quel est votre site web et quelle interaction vous souhaitez le plus comprendre, et nous examinerons si cela correspond à la bêta en cours.
Vous voulez d'abord voir les détails ? Explorez Proof of Actor, lisez how it works, ou examinez précisément ce que les éléments de preuve peuvent et ne peuvent pas établir.
Sources
- RFC 9421: HTTP Message Signatures, IETF, February 2024.
- Web Bot Auth (webbotauth) working group charter, IETF.
- Overview of OpenAI crawlers, OpenAI.
- Does Anthropic crawl data from the web, and how can site owners block the crawler?, Anthropic.
- Verifying Googlebot and other Google crawlers, Google Search Central.
- How to verify that Bingbot is Bingbot, Bing Webmaster Blog.