Web sitenizde artık tek bir ziyaretçi türü yok
Web'in tarihinin büyük bölümünde bir web sitesi basit bir modeli varsayabilirdi: bir kişi tarayıcı açar, sayfalar arasında dolaşır ve belki oturum açar. Analitik, rate limit'ler, onboarding akışları ve security kontrolleri hep bu kişiye göre tasarlanmıştı.
Bu model artık gerçek trafiği tanımlamıyor. Bugün tek bir web sitesi, kendi başına gezinirken insanlar, bir AI asistanından kendileri için bir şeyi özetlemesini veya doldurmasını isteyen insanlar, başkası adına sayfaları okuyup endpoint'lere çağrı yapan otonom ajanlar ve uzun kuyrukta yer alan crawler'lar ile script'lere hizmet veriyor. AI sağlayıcıları bu ziyaretçilerin birkaçını kendileri de belgeliyor: Örneğin OpenAI, arama crawler'ı, eğitim crawler'ı ve bir ChatGPT kullanıcısı soru sorduğunda sayfaları ziyaret eden fetcher için ayrı user-agent'lar yayınlıyor (OpenAI crawler documentation), Anthropic de ClaudeBot, Claude-User ve Claude-SearchBot için aynı şeyi yapıyor (Anthropic crawler documentation). Bu ziyaretçilerin bazıları istenir. Bazıları farklı bir deneyim gerektirir. Bazıları hassas bir şey yapmadan önce daha yakından incelenmelidir.
Sorun şu ki, bu etkileşimlerin çoğu ilk bakışta birbirine benzer. Bir login, hangi account'un kullanımda olduğunu söyler. Ancak bir kişinin tıklayıp tıklamadığını, bir assistant'ın bu session üzerinden işlem yapıp yapmadığını ya da otomatik bir client'ın pricing sayfanızı uzaktaki bir kullanıcı için okuyup okumadığını söylemez. Web siteleri için AI ajan tespiti, bu boşluğu kanıtla kapatmakla ilgilidir; böylece ekibiniz tüm trafiğe aynı şekilde davranmak yerine her actor türüne uygun tepki verebilir. İşaretlerin pratik bir dökümü için web sitesi trafiğinin AI ajanlarından gelip gelmediği nasıl anlaşılır yazısını okuyun ve bunun production bir sitede nasıl göründüğünü web siteleri kullanım senaryosu sayfasında görün.
Neden tek bir bot skoru yeterli değil
Birçok araç bu soruya tek bir sayı ile cevap verir: bot skoru, risk skoru, bir ziyaretçinin ne kadar human olduğunu iddia eden bir yüzde. Cazibesi açıktır. Tek bir sayı bir rule içine koymak için kolaydır.
Sorun şu ki, tek bir sayı gerekçeyi gizler. Bir skor bir session'ın muhtemelen otomatik olduğunu söylediğinde, ekibiniz bu sonucun doğrulanmış bir imzaya mı, herkesin kopyalayabileceği bir user-agent string'ine mi, yoksa hızlı yazan bir insanla da eşleşen bir desene mi dayandığını göremez. Bu skor bir block veya challenge'ı yönettiğinde, yaptığı her hatayı müşteriye, bir çalışma arkadaşına ya da bir denetçiye açıklama yolu olmadan devralırsınız.
Proof of Actor farklı bir yaklaşım kullanır. Her sonuç, Human, AI-assisted veya agent: uygulama trafiği için bir taksonomi içinde açıklanan dört net sınıftan biridir ve her sonuç neye dayandığını söyler. Sonucu ve kanıtı birlikte görürsünüz. Bu da güçlü sonuçlara güvenebileceğiniz, zayıf olanları sorgulayabileceğiniz ve kanıt kalitesine uygun policy'ler oluşturabileceğiniz anlamına gelir.
Web sitenizde AI ajanları dört adımda nasıl tespit edilir
Elinizde zaten bulunan araçlarla web sitenizde AI ajanlarını tespit etmeye başlayabilirsiniz. Bu dört adım vendor-neutral'dir ve Proof of Actor kullansanız da kullanmasanız da çalışır. web sitesi trafiğinin AI ajanlarından gelip gelmediği nasıl anlaşılır blog yazısı her birini daha derinlemesine ele alır.
- Kendini açık eden ajanları listeleyin. Server veya CDN log'larınızda AI sağlayıcılarının yayınladığı user-agent'ları arayın. OpenAI, OAI-SearchBot, GPTBot ve ChatGPT-User'ı belgeliyor ve ChatGPT-User'ın, bir kullanıcı ChatGPT'ye soru sorduğunda otomatik tarama yapmak yerine sayfaları ziyaret ettiğini belirtiyor. Anthropic ise ClaudeBot, Claude-User ve Claude-SearchBot'u belgeliyor. Bu size route bazında agent trafiğinin ilk, declared bir görünümünü verir.
- Dizeye güvenmek yerine iddiayı doğrulayın. User-agent self-reported'dur ve kopyalanması kolaydır. Bunu operatörün kendi doğrulama yöntemiyle kontrol edin: Google, Googlebot için ters DNS lookup'ın ardından ileri DNS lookup ve yayınlanmış IP aralık dosyalarını tanımlar (Google: verifying Googlebot); Bing, Bingbot için aynı ters ve ileri DNS kontrolünü tanımlar (Bing: verifying Bingbot); OpenAI ise her user-agent için IP aralık dosyaları yayınlar. Bir client isteklerini RFC 9421 içinde tanımlanan HTTP Message Signatures ile imzalıyorsa, imzayı operatörün yayınladığı anahtara karşı doğrulayın.
- Her sonucu kanıtıyla etiketleyin ve Unknown'u koruyun. Her sonucun verified, declared veya inferred olup olmadığını kaydedin. Doğrulanmış ya da beyan edilmiş hiçbir agent ile eşleşmeyen ve net bir human deseni göstermeyen trafik, human veya bot içine zorla yerleştirilmemeli, Unknown olarak etiketlenmelidir. Faydalı bir raporu tahminden ayıran adım budur.
- Aksiyon almadan önce route bazında gözlemleyin. Sonuçları birkaç hafta boyunca route ve workflow bazında ayırın: public içerik, signup, account settings, APIs. Ancak ondan sonra actor bağlamının en çok önem taşıdığı route için dar bir policy yazın ve Unknown için açık bir fallback tanımlayın.
Proof of Actor bu adımları uygulamanızın içinde otomatikleştirir: Entegrasyonunuzun görebildiği sinyalleri toplar, dayanağıyla birlikte bir sınıf döndürür, Unknown'u route bazında izler ve policy'yi kodunuza bırakır.
Proof of Actor web sitelerinde AI ajanlarını nasıl tespit eder
Proof of Actor, basit bir akış etrafında tasarlanmıştır: entegrasyonunuzun gözlemleyebildiği sinyaller, açık bir dayanakla sınıflandırma ve kararın sizin elinizde kalması. Tam akışı How It Works sayfasında okuyabilirsiniz. Kısa versiyon şöyledir.
Entegrasyonunuzdan gelen sinyaller
Her entegrasyon, bulunduğu bağlamın izin verdiğini görür. Server-side bir entegrasyon request bağlamını, protocol ayrıntılarını ve client destekliyorsa request signature'ını görür. Browser entegrasyonu, çalıştığı sayfalardaki etkileşim sinyallerini görür. Bir application ayrıca, bir kullanıcının AI yardımıyla içerik taslağı oluşturduğunu beyan etmesi veya bir agent client'ın kendini adlandırması gibi kendi beyanlarını da kaydedebilir.
Proof of Actor, gerçekten mevcut olan kanıtla çalışır. Web sitenizin gözlemleyemeyeceği şeyleri görüyormuş gibi davranmaz.
Özel bir anlamı olan dört sınıf
Her etkileşim dört sınıftan birine düşer:
- Human: gözlemlenebilir sinyaller, human yönlendirmeli etkileşime işaret eder.
- Human + AI: AI desteği beyan edilmiştir veya bunu görebilen desteklenen bir entegrasyon üzerinden gözlemlenmiştir.
- Agent: otomatik veya agent kaynaklı etkileşimdir, doğrulanabilir kimlik ya da dikkatle nitelendirilmiş bir çıkarımla desteklenir.
- Unknown: mevcut kanıt güvenilir bir belirleme için yeterli değildir.
Her sınıfın net bir tanımı ve net bir sınırı vardır. Human sonucu doğrulanmış bir kimlik değildir. Agent sonucu, agent'ın yetkili olduğunu söylemez. Unknown sonucu bir suçlama değildir. Tam taksonomiyi Detection & Limitations sayfasında okuyabilirsiniz.
Her sonucun üzerinde bir dayanak
Sınıfın yanında, her sonuç kendi dayanağını da taşır: verified, declared, inferred veya unknown. Yayınlanmış bir anahtardan gelen geçerli bir imza taşıyan bir request, o kontrol için verified'dır. Kendisini agent olarak tanımlayan bir client bunu declared etmiştir. Otomasyonla tutarlı bir davranış deseni inferred'tır. Policy'lerinizin hassas olmasını sağlayan şey bu ayrımdır. Salt okunur bir route üzerindeki doğrulanmış imzalı bir agent ile account settings sayfasındaki kendini beyan etmiş bir client aynı şekilde ele alınmamalıdır ve Proof of Actor ile buna gerek yoktur. evidence basis sözlük girdisi bunların her birini daha ayrıntılı açıklar.
Ekibiniz ne elde eder: Detect, Understand, Route
Proof of Actor, birlikte çalışan üç yeteneğe sahip tek bir üründür.
Detect
Entegrasyonunuzun kullanılabilir actor sinyallerini toplayın ve doğrulanmış beyanları davranışsal çıkarımlardan ayırın. Unknown trafik, bir tahmine katlanmak yerine kendi kategorisi olarak görünür kalır. Hangi etkileşimler hakkında güvenle konuşabileceğinizi ve hangilerinin daha fazla kanıta ihtiyaç duyduğunu her zaman bilirsiniz.
Understand
AI agent traffic'inizi bağlam içinde görün. Etkileşim türlerini route ve zaman bazında keşfedin, human, AI-assisted, agent ve unknown etkinliklerindeki eğilimleri takip edin ve herhangi bir sınıflandırmayı açarak neyin bilindiğini, neyin bilinmediğini ve sonucun neye dayandığını görün. Product, platform ve security ekiplerinin web sitesini kimin kullandığına dair ortak ve açıklanabilir bir görünüm elde ettiği yer burasıdır.
Route
Belirli etkileşimlere izin vermek, onları uyarlamak, challenge etmek, incelemek veya sınırlamak için kendi policy'lerinizi kullanın. Dokümantasyonunuzu okuyan doğrulanmış bir agent'a yapılandırılmış bir yanıt verin. Human yönlendirmeli session'lar için standart deneyimi koruyun. Hassas bir account değişikliğinde kendi koşullarınız bunu gerektiriyorsa daha güçlü bir check isteyin. Unknown sonuçlar ve timeout'lar için route bazında açık bir fallback seçin. Enforcement her zaman uygulamanız içinde, ekibinizin onayladığı policy'ler altında gerçekleşir.
Yerine geçmek için değil, web sitenize uyum sağlamak için tasarlandı
Proof of Actor, zaten çalıştırdığınız araçların yanında yer alır. Authentication'ınızı, authorization model'inizi veya mevcut abuse kontrollerinizi değiştirmez. Bunlara actor bağlamı ekler.
Tipik bir web sitesi entegrasyonu, actor bağlamının en çok önem taşıdığı route'larda başlar: agent'ların yoğun okuduğu public içerik, signup ve onboarding akışları, account settings ve diğer hassas eylemler ile siteyi besleyen herhangi bir API. Founding ekipler, mühendislerimizle birlikte bu route'ları seçer, kapsam içindeki sinyaller üzerinde anlaşır ve herhangi bir code ship edilmeden önce verilerin nasıl işlendiğini onaylar.
Karar katmanı kodunuzda bulunduğu için deneyim üzerinde kontrol sizde kalır. Sonuçları haftalarca iç bir dashboard'da, herhangi bir rule değişmeden önce gösterebilir, sonra tek bir route için tek bir dar policy'yi devreye alabilir ve sonuçlar güveninizi kazandığında kapsamı genişletebilirsiniz. Unknown trafiğin ele alınması rehberi, bu ilk rule'ların nasıl tasarlanacağını anlatır.
Gözlem modunda başlayın
AI ajan tespitinden en hızlı şekilde değer elde etmenin yolu, engelleyerek değil gözlemleyerek başlamaktır. Gözlem modunda Proof of Actor, web siteniz onsuz nasıl davranacaksa tam olarak öyle davranırken sonuçları kaydeder. Ekibiniz daha sonra sınıflandırmaları zaten anladığınız sonuçlarla karşılaştırabilir: support ticket'ları, bilinen entegrasyonlar, iç araçlar ve zaten tanıdığınız crawler'lar.
Bu size enforcement öncesinde üç şey sağlar:
- Bir baz çizgisi. Trafiğinizin ne kadarı route bazında human yönlendirmeli, AI-assisted, agent-driven veya unknown.
- Kanıta dair güven. Web sitenizde hangi sinyallerin güçlü olduğu ve kapsamanın nerede büyümesi gerektiği.
- Daha iyi policy'ler. Varsayımlar yerine gerçek kalıplara göre tasarlanmış rule'lar, false positive'ler kimse etkilenmeden önce incelenmiş halde.
Bir policy hazır olduğunda, onu tasarlandığı belirli workflow için etkinleştirirsiniz ve istediğiniz zaman ayarlama yapma yeteneğini korursunuz.
Kanıt temelli tespit neden opak skorlardan daha iyidir
Web siteleri zaten ajanlara, asistanlara ve AI ile çalışan insanlara yan yana hizmet veriyor. Bunu iyi yöneten ekipler en agresif filtrelere sahip olanlar olmayacak. Kararlarını açıklayabilenler olacak.
Kanıt temelli sonuçlar size bu açıklamayı verir. Bir support agent, bir kullanıcının neden ek bir doğrulama adımı gördüğünü sorduğunda, kanıtı ve uygulanan policy'yi gösterebilirsiniz. Bir agent operatörü, imzalı isteklerinin neden yapılandırılmış bir yanıtla karşılandığını sorduğunda, doğrulanmış dayanağı gösterebilirsiniz. Kanıt zayıf olduğunda sonuç Unknown der ve fallback bunu sizin bilinçli olarak seçtiğiniz şekilde işler.
Bu yaklaşım web ile birlikte de ölçeklenir. Daha fazla agent operatörü isteklerini imzaladıkça ve IETF Web Bot Auth working group gibi standart çalışmaları, otomatik client'lar için kriptografik authentication'ı standardize etmek üzere HTTP message signatures üzerine inşa ettikçe, trafiğinizin daha büyük bir kısmı inferred veya unknown olmaktan verified olmaya kayar ve policy'leriniz yeniden yazılmadan daha hassas hale gelir.
Founding developer program'a katılın
Proof of Actor, küçük bir application ekibi grubuyla private beta aşamasındadır. Seçilen founding developer'lar, uygulamalı ürün geri bildirimi karşılığında, üzerinde anlaşılan kullanım sınırları dahilinde 12 aya kadar ücretsiz erişim alabilir. Mühendislerimizden doğrudan integration desteği, özellikler kullanıma açıldıkça erken erişim ve bir sonraki yapacaklarımıza gerçek etki elde edersiniz.
Web siteniz insanlara, AI-assisted kullanıcılara ve ajanlara hizmet veriyorsa ve bundan sonra ne olacağına karar vermeden önce onu kimin kullandığını bilmek istiyorsanız, erken erişim için başvurun. Web siteniz ve en çok anlamak istediğiniz etkileşim hakkında bize bilgi verin, biz de mevcut beta için uygun olup olmadığını inceleyelim.
Önce ayrıntıları görmek ister misiniz? Proof of Actor'ı keşfedin, nasıl çalıştığını okuyun veya kanıtın tam olarak neyi kurup neyi kuramayacağını inceleyin.
Kaynaklar
- RFC 9421: HTTP Message Signatures, IETF, February 2024.
- Web Bot Auth (webbotauth) working group charter, IETF.
- Overview of OpenAI crawlers, OpenAI.
- Does Anthropic crawl data from the web, and how can site owners block the crawler?, Anthropic.
- Verifying Googlebot and other Google crawlers, Google Search Central.
- How to verify that Bingbot is Bingbot, Bing Webmaster Blog.