User-agent taklidi nedir
Her HTTP istemcisi kendisini tanımlayan bir User-Agent başlığı gönderebilir: bir tarayıcı adı ve sürümü, bir tarayıcı adı, bir kütüphane tanımlayıcısı. Başlık, istemcinin kendi beyanıdır. HTTP içinde bunun doğru olup olmadığını denetleyen bir şey yoktur, bu yüzden herhangi bir istemci herhangi bir değer gönderebilir. User-agent taklidi, istemciyi yanlış yansıtan bir değer gönderme pratiğidir, örneğin:
- bir otomasyon betiğinin kendisini güncel bir masaüstü tarayıcısı olarak tanıtması,
- bir tarayıcının, avantajlı işlem görmek için tanınmış bir arama gezgini olduğunu iddia etmesi,
- bir AI agent'in genel bir tarayıcı dizgesi kullanarak bir kişi gibi değerlendirilmesi.
Neden önemlidir
Birçok sistem hala user-agent dizgesine bakarak karar verir: bilinen gezginler için izin listesi oluşturmak, botlara farklı içerik sunmak veya otomasyonu analizden hariç tutmak gibi. Bu kararların her biri başlığın zayıflığını devralır. Bir politika "crawler X olduğunu iddia eden her şeye izin ver" diyorsa, crawler X'in dizgesini kopyalayan herkese de izin verir.
AI agent trafiği alan uygulamalar için bu konu zamanla daha da önem kazanır. Agent'ler giderek gerçek tarayıcıların içinde veya başsız tarayıcı çerçevelerinde çalıştığından, user-agent dizgeleri insan tarayıcılarıyla birebir aynı görünür. Diğerleri ise bunu dürüstçe belirtir. Yalnızca başlık, hangisinin hangisi olduğunu söyleyemez. Web sitenize gelen trafiğin AI agent'lerden gelip gelmediğini nasıl anlarsınız başlıklı yazımız, daha iyi çalışan sinyalleri ele alır.
Başlıktan daha iyi kanıt
- Kriptografik imzalar. HTTP Message Signatures ve Web Bot Auth çalışmalarıyla, bir istemci adını verdiği operatör tarafından yayımlanmış bir anahtarı elinde tuttuğunu kanıtlar. Kopyalanmış bir user-agent dizgesi bir imzayı yeniden üretemez.
- Operatör tarafından yayımlanan doğrulama. Bazı tarayıcı operatörleri IP aralıkları yayımlar veya ters DNS kontrollerini destekler; bu da kimlik taklidini yalnızca başlığa kıyasla daha zor hale getirir. Google, gezginleri için bir ters DNS ve IP aralığı denetimi belgeler, Microsoft bir Verify Bingbot aracı sunar ve OpenAI her bir botu için IP adresi dosyaları yayımlar. Anthropic'in barındırılan tarayıcı agent'i için rehberi, herkesin aynı User-Agent başlığını gönderebileceğini açıkça belirtir ve yayımladığı IP adreslerini kontrol etmeyi önerir.
- Tutarlılık kontrolleri. İddia edilen istemciyi protokol ayrıntıları ve etkileşim sinyalleriyle karşılaştırmak, bir iddianın uyuşmadığı durumları gösterebilir, ancak bu sonuç kanıt değil çıkarımdır.
- Kimlik bilgileri. API'ler için, bir API anahtarı veya token, başlığın ne dediğinden bağımsız olarak hangi hesabın çağrı yaptığını gösterir.
Yaygın yanlış kanılar
- "Bir tarayıcı user-agent'ı insan demektir." Başsız tarayıcılar ve agent çerçeveleri rutin olarak tarayıcı dizgeleri gönderir.
- "Bir tarayıcı user-agent'ı, o tarayıcıdır." İmza ya da operatör doğrulama denetimi olmadan bu yalnızca bir iddiadır.
- "Taklit her zaman kötü niyetlidir." Bazı meşru araçlar, bozuk sayfaların sunulmasını önlemek için genel dizgeler gönderir. Taklit, başlığı daha az güvenilir saymak için bir nedendir, kötü niyetin kanıtı değil.
Proof of Actor user-agent dizgesini nasıl ele alır
Proof of Actor, bir user-agent iddiasını declared kanıt olarak kaydeder: istemcinin ifade ettiği, doğru da olabilecek doğru da olmayabilecek bir şey. Bir beyanı kendi başına verified seviyesine çıkarmaz. Tek tanımlayıcı kanıtı bir crawler user-agent dizgesi olan bir istek buna göre etiketlenir ve kanıt yetersizse sonuç güvenli bir tahmin yerine Unknown olur. Route içindeki politikalarınız daha sonra doğrulanmış, imzalı bir agent ile kendi beyanını yapan bir agent'i farklı şekilde ele alabilir; örneğin salt okunur rotalarda ikisine de izin verirken beyan edilen olana daha sıkı sınırlar uygulayabilir.
Kanıt temellerinin nasıl çalıştığını görün veya erken erişim için başvurun.
Kaynaklar
- RFC 9110: HTTP Semantics, User-Agent: başlık istemci tarafından kendi beyanı olarak gönderilir
- Google: Verifying Google's crawlers and fetchers: ters DNS ve yayımlanmış IP aralığı kontrolleri
- Microsoft Bing: Verify Bingbot tool: bir IP adresinin Bingbot'a ait olup olmadığının kontrol edilmesi
- OpenAI: Overview of OpenAI Crawlers: user-agent'ler ve yayımlanmış IP adresi dosyaları
- Anthropic: how Anthropic-hosted browsers identify themselves: User-Agent başlığının kopyalanabileceği uyarısı