Het verkeer dat niemand kan benoemen
Kijk goed naar de logs van een applicatie en je vindt requests die zich aan uitleg onttrekken. Ze komen van clients zonder browsercontext. Hun user-agent strings zijn generiek, leeg of gekopieerd van een populaire browser. Ze ondertekenen hun requests niet. Ze zeggen niet wie ze heeft verzonden. Sommige zijn onschuldige scripts. Sommige zijn agents die voor echte gebruikers werken. Sommige zijn tools die je liever helemaal niet zou bedienen.
Dit is onbekend geautomatiseerd verkeer, en de meeste teams behandelen het op een van twee manieren. Of het wordt stilzwijgend als menselijk meegeteld, wat analytics vertekent en risicovolle activiteit doorlaat, of het wordt standaard als vijandig behandeld, wat legitieme gebruikers en agents samen met alles de toegang ontzegt. Beide benaderingen delen hetzelfde probleem: ze vervangen ontbrekend bewijs door een aanname.
Proof of Actor kiest de tegenovergestelde benadering. Als het bewijs geen betrouwbare vaststelling ondersteunt, is het juiste antwoord Unknown, en Unknown moet zichtbaar, meetbaar en bewust afgehandeld worden. De blogpost why Unknown is a valid result for AI traffic licht dit volledig toe.
Waarom Unknown een eersteklas resultaat is
Proof of Actor classificeert elke interactie in een van vier klassen: Human, Human + AI, Agent of Unknown. Unknown is geen foutstatus en ook geen gat in het product. Het is een bewust resultaat met een precieze betekenis: het beschikbare bewijs ondersteunt geen betrouwbare vaststelling.
Die eerlijkheid heeft praktische voordelen.
- Je analytics blijven accuraat. Human- en Agent-aantallen bevatten alleen interacties met ondersteunend bewijs, dus ze betekenen ook echt wat ze zeggen.
- Je dekking wordt meetbaar. Het aandeel Unknown op elke route laat precies zien waar je meer bewijs nodig hebt.
- Je beleid wordt veiliger. Onzekere gevallen stromen door naar een door jou gekozen fallback, in plaats van stilzwijgend als vertrouwd te worden behandeld of op basis van een gok te worden geblokkeerd.
Unknown wordt nooit omgezet naar Human en wordt nooit standaard als kwaadaardig behandeld. Je kunt hier meer over lezen in de glossariumvermelding Unknown classification, op Detection & Limitations, en in why Unknown is a valid result for AI traffic. De use cases websites en APIs laten zien hoe teams Unknown-fallbacks in de praktijk instellen.
Waar onbekend geautomatiseerd verkeer vandaan komt
Als je de bronnen begrijpt, kun je beter bepalen hoe je ermee omgaat.
Ongesigneerde geautomatiseerde clients
Request signing met HTTP Message Signatures, gedefinieerd in RFC 9421, is optioneel, en de IETF Web Bot Auth working group is nog bezig met het standaardiseren van hoe geautomatiseerde clients zich op deze manier moeten authenticeren. Zonder signature rust de identiteit van een client op wat die zelf over zichzelf zegt.
Gekopieerde of generieke user agents
User-agent strings zijn eenvoudig in te stellen. Een client die beweert een bekende browser of crawler te zijn, kan dat ook echt zijn, of kan deze nabootsen. De vermelding user-agent spoofing legt uit waarom deze header alleen geen classificatie kan dragen. Daarom documenteren zoekmachines ook aparte verificatiemethoden: Google beschrijft reverse en forward DNS-lookups plus gepubliceerde IP-reeksen voor verifying Googlebot, en Bing beschrijft dezelfde DNS-controle voor verifying Bingbot.
Routes zonder integratie
Als een route geen browserintegratie heeft en geen server-side context verder dan de basis, valt er eenvoudigweg minder waar te nemen. Unknown op die routes is een teken van dekking, niet van dreiging.
Ontbrekend of vertraagd bewijs
Een timeout, een geblokkeerde script-uitvoering of een onvolledig request kan een resultaat achterlaten zonder voldoende bewijs. Proof of Actor rapporteert dat eerlijk in plaats van het gat op te vullen.
Hoe Proof of Actor Unknown beheersbaar maakt
Proof of Actor organiseert zijn werk in drie mogelijkheden. Elk daarvan helpt bij onbekend geautomatiseerd verkeer.
Detect: houd Unknown gescheiden
Signalen worden gecontroleerd en gelabeld op basis van basis: verified, declared, inferred of unknown. Als ze geen betrouwbare vaststelling ondersteunen, is het resultaat Unknown met een samenvatting van wat wel en niet beschikbaar was. Er wordt niets gegokt in een andere klasse.
Understand: zie waar Unknown zich bevindt
De Understand-weergave toont Unknown in elke uitsplitsing, per route en in de tijd. Je ziet welke routes de meeste onbekende activiteit hebben, hoe dat verandert nadat je een integratie toevoegt, en welk bewijs aanwezig was voor individuele interacties. Zo wordt een vaag zorgpunt een concrete kaart.
Route: kies de fallback per route
Verschillende routes verdienen verschillende fallbacks. Een redelijk startpunt voor veel applicaties:
- Openbare pagina's en documentatie: allow Unknown met je standaard rate limits.
- Signup en onboarding: behoud je bestaande controles en voeg alleen review toe wanneer je eigen voorwaarden daarom vragen.
- Accountwijzigingen en andere gevoelige acties: vertrouw op je bestaande authenticatie en step-up controls, nooit op een gok over de actor.
- API-operations met hoge impact: vereis de sterkere credentials of controls die je API al ondersteunt.
De handleiding over handling unknown traffic laat zien hoe je deze fallbacks ontwerpt, inclusief fail-open en fail-closed keuzes voor elk risiconiveau.
Unknown in de loop van de tijd verkleinen
Het doel is niet om Unknown van de ene op de andere dag te elimineren. Het is om het elke maand kleiner te maken, om de juiste redenen.
- Voeg integraties toe waar het telt. Een browserintegratie op belangrijke pagina's en een server-side integratie op belangrijke routes vergroten het beschikbare bewijs.
- Ondersteun ondertekende requests. Naarmate agentoperators HTTP message signatures gaan gebruiken, wordt verkeer dat Unknown was geverifieerd Agent-verkeer.
- Leg declaraties vast in je eigen app. Wanneer je applicatie weet dat AI-assistentie betrokken is, geef dat dan aan. Dat bewijs is precies en goedkoop.
- Bied agents een voordeur. Door een gestructureerd pad voor agents te publiceren, moedig je hen aan zichzelf te identificeren in plaats van op te gaan in de massa.
Omdat Proof of Actor Unknown per route bijhoudt, zie je elk van deze veranderingen terug in de cijfers.
Hoe het werkt
Elke interactie volgt hetzelfde evidence-first pad, volledig beschreven op How It Works: je applicatie ontvangt een request of event, de integratie verzamelt de signalen die in die context beschikbaar zijn, signalen worden genormaliseerd en geclassificeerd met een expliciete basis, het resultaat wordt vastgelegd voor analytics, en je applicatie past zijn eigen beleid toe of observeert alleen.
Timeouts en ontbrekende telemetry worden expliciet afgehandeld. Je integratie gebruikt de fallback die je voor die route hebt gekozen, en het resultaat wordt nooit opgewaardeerd naar Human omdat bewijs ontbrak.
Hoe goed eruitziet na een paar maanden
Teams die onbekend geautomatiseerd verkeer goed afhandelen, komen vaak uit op dezelfde gezonde toestand. Unknown is op elke belangrijke route een bekende grootheid, gevolgd in hetzelfde dashboard als human- en agent-activiteit. Elke route heeft een schriftelijk fallbackbeleid waar product-, platform- en securityteams samen over eens zijn geworden. Geverifieerd agentverkeer groeit naarmate meer operators hun requests ondertekenen, en die agents worden bediend via een gestructureerd pad in plaats van pagina's te scrapen. Gevoelige acties worden beschermd door de authenticatie- en step-up controls waarop de applicatie al vertrouwt, met actorcontext als extra input in plaats van als poortwachter.
Het belangrijkste is dat niemand hoeft te gokken. Als iemand vraagt hoeveel van het verkeer van vorige week geautomatiseerd was, komt het antwoord met zijn basis: zoveel verified, zoveel declared, zoveel inferred en zoveel nog steeds Unknown. Dat is een getal waar een team op kan plannen. Het verandert ook het gesprek met het management, omdat de vraag niet langer is of bots een probleem zijn, maar welke routes meer bewijs verdienen en welke fallbacks verfijnd moeten worden.
Begin in observatiemodus
Proof of Actor blokkeert standaard niets. In observatiemodus worden resultaten vastgelegd terwijl je applicatie precies blijft reageren zoals voorheen. Je team ziet hoeveel onbekend geautomatiseerd verkeer elke route ontvangt, vergelijkt dat met uitkomsten die je al kent, en ontwerpt fallbacks op basis van echte patronen. Beleid wordt één route tegelijk ingeschakeld, alleen wanneer je team zeker weet dat het past.
Sluit je aan bij het founding developer-programma
Proof of Actor bevindt zich in private beta. Geselecteerde founding developer-teams kunnen tot 12 maanden gratis toegang krijgen, binnen overeengekomen gebruikslimieten, in ruil voor praktische productfeedback, met directe integratieondersteuning van onze engineers.
Als onbekend geautomatiseerd verkeer je analytics of je securitybeslissingen vertroebelt, meld je aan voor vroege toegang. Vertel ons over je applicatie en de routes waar Unknown het belangrijkst is.
Ontdek Proof of Actor, lees hoe het werkt, of bekijk wat het bewijs kan vaststellen.
Bronnen
- RFC 9421: HTTP Message Signatures, IETF, februari 2024.
- Web Bot Auth (webbotauth) working group charter, IETF.
- Verifying Googlebot and other Google crawlers, Google Search Central.
- How to verify that Bingbot is Bingbot, Bing Webmaster Blog.