तुमच्या वेबसाइटवर आता एका प्रकारचा visitor नाही
वेबच्या इतिहासातील बहुतेक काळात, वेबसाइट एक साधे model गृहीत धरू शकत होती: एखादी व्यक्ती browser उघडते, इकडे तिकडे click करते, आणि कदाचित sign in करते. Analytics, rate limits, onboarding flows आणि security checks हे सगळे त्या व्यक्तीभोवतीच तयार केलेले होते.
ते model आता प्रत्यक्ष traffic चे वर्णन करत नाही. आज एकच website स्वतः browsing करणाऱ्या लोकांना, AI assistant ला काही summarize करायला किंवा त्यांच्यासाठी काही भरायला सांगणाऱ्या लोकांना, दुसऱ्याच्या वतीने pages वाचून endpoints call करणाऱ्या autonomous agents ना, आणि crawlers व scripts च्या मोठ्या tail ला सेवा देते. AI providers स्वतः यापैकी काही visitors चे दस्तऐवजीकरण करतात: उदाहरणार्थ, OpenAI आपल्या search crawler, training crawler आणि ChatGPT user ने प्रश्न विचारल्यावर pages visit करणाऱ्या fetcher साठी वेगळे user agents प्रकाशित करते (OpenAI crawler documentation), आणि Anthropic ClaudeBot, Claude-User आणि Claude-SearchBot साठी तसेच करते (Anthropic crawler documentation). यापैकी काही visitors स्वागतार्ह आहेत. काहींना वेगळा अनुभव हवा असतो. काहींना संवेदनशील काही करण्यापूर्वी अधिक जवळून पाहणे गरजेचे असते.
अडचण अशी आहे की हे बहुतेक interactions प्रथमदर्शनी सारखे दिसतात. Login तुम्हाला कोणते account वापरात आहे ते सांगते. पण एखादी व्यक्ती click करत आहे का, त्या session मधून assistant काम करत आहे का, किंवा एखादा automated client तुमच्या pricing page वाचत आहे का हे ते सांगत नाही. वेबसाइट्ससाठी AI agent detection म्हणजे evidence वापरून ही दरी भरून काढणे, जेणेकरून तुमचा संघ सर्व traffic ला एकसारखे न वागवता प्रत्येक प्रकारच्या actor ला योग्य प्रतिसाद देऊ शकेल. involved signals चा practical walkthrough पाहण्यासाठी website traffic AI agents कडून येते का ते कसे ओळखावे वाचा, आणि production site वर हे कसे दिसते यासाठी websites use case पहा.
एकच bot score पुरेसा का नाही
अनेक tools हा प्रश्न एका number ने उत्तरतात: bot score, risk score, visitor किती human आहे हे सांगणारी percentage. आकर्षण स्पष्ट आहे. एक number rule मध्ये घालणे सोपे असते.
समस्या अशी की एकच number reasoning लपवतो. एखादा score session कदाचित automated आहे असे म्हणतो, पण तो निष्कर्ष verified signature वर आधारित आहे का, कुणीही copy करू शकेल अशा user-agent string वर आधारित आहे का, किंवा जलद typing करणाऱ्या human च्या pattern शीही जुळणाऱ्या pattern वर आधारित आहे का हे तुमच्या संघाला दिसत नाही. जेव्हा तो score block किंवा challenge ठरवतो, तेव्हा तुम्ही त्याच्या प्रत्येक चुकीचा भार उचलता, ग्राहकाला, सहकाऱ्याला किंवा auditor ला ते समजावून सांगण्याचा मार्ग नसताना.
Proof of Actor वेगळा दृष्टिकोन घेतो. प्रत्येक परिणाम चार स्पष्ट classes पैकी एक असतो, Human, AI-assisted किंवा agent: app traffic साठी taxonomy मध्ये समजावलेला, आणि प्रत्येक परिणाम त्याचा आधार काय आहे ते सांगतो. तुम्हाला conclusion आणि evidence एकत्र दिसतात, त्यामुळे तुम्ही मजबूत results वर विश्वास ठेवू शकता, कमजोर results वर प्रश्न करू शकता, आणि evidence च्या गुणवत्तेला जुळणारी policies तयार करू शकता.
तुमच्या वेबसाइटवर AI agents चार टप्प्यांत कसे detect करायचे
तुमच्याकडे आधीपासून असलेल्या tools वापरून तुम्ही तुमच्या वेबसाइटवर AI agents detect करायला सुरुवात करू शकता. हे चार टप्पे vendor-neutral आहेत आणि तुम्ही Proof of Actor वापरत असाल किंवा नसलात तरी काम करतात; website traffic AI agents कडून येते का ते कसे ओळखावे या blog post मध्ये प्रत्येक टप्पा अधिक सविस्तर दिला आहे.
- स्वतःची ओळख सांगणाऱ्या agents ची यादी करा. तुमच्या server किंवा CDN logs मध्ये AI providers प्रकाशित करतात त्या user agents साठी शोधा. OpenAI OAI-SearchBot, GPTBot आणि ChatGPT-User चे दस्तऐवजीकरण करते, आणि सांगते की वापरकर्ता ChatGPT ला प्रश्न विचारतो तेव्हा ChatGPT-User pages visit करते, आपोआप crawl करत नाही. Anthropic ClaudeBot, Claude-User आणि Claude-SearchBot चे दस्तऐवजीकरण करते. यामुळे route नुसार agent traffic चे पहिले, declared चित्र मिळते.
- string वर विश्वास ठेवण्याऐवजी claims verify करा. User agent self-reported असतो आणि copy करायला सोपा असतो. तो operator च्या स्वतःच्या verification method विरुद्ध तपासा: Google reverse DNS lookup नंतर forward DNS lookup, तसेच published IP range files वापरते, Googlebot साठी (Google: verifying Googlebot); Bing Bingbot साठी त्याच reverse आणि forward DNS तपासणीचे वर्णन करते (Bing: verifying Bingbot); OpenAI आपल्या प्रत्येक user agent साठी IP range files प्रकाशित करते. जेव्हा client आपल्या requests वर HTTP Message Signatures ने sign करतो, ज्याची व्याख्या RFC 9421 मध्ये आहे, तेव्हा published key विरुद्ध signature तपासा.
- प्रत्येक परिणामाला त्याच्या evidence ने label करा, आणि Unknown ठेवून द्या. प्रत्येक conclusion verified, declared किंवा inferred आहे का ते नोंदवा. कोणत्याही verified किंवा declared agent शी जुळत नाही आणि स्पष्ट human pattern दाखवत नाही असा traffic Unknown म्हणून label केला पाहिजे, human किंवा bot मध्ये जबरदस्तीने ढकलू नये. हा टप्पा उपयोगी report आणि अंदाज यात फरक करतो.
- कारवाई करण्यापूर्वी route नुसार observe करा. काही आठवडे results route आणि workflow नुसार विभागा: public content, signup, account settings, APIs. त्यानंतरच actor context सर्वाधिक महत्त्वाचा असलेल्या route साठी अरुंद policy लिहा, ज्यात Unknown साठी explicit fallback असेल.
Proof of Actor हे टप्पे तुमच्या application मध्ये automate करते: तुमचे integration जे signals पाहू शकते ते गोळा करते, आधारासह class परत करते, route नुसार Unknown track करते, आणि policy तुमच्या code कडेच सोडते.
Proof of Actor websites वर AI agents कसे detect करते
Proof of Actor एका साध्या path भोवती तयार केलेले आहे: तुमचे integration observe करू शकणारे signals, explicit basis असलेले classification, आणि तुमच्या हातात राहणारा decision. पूर्ण flow तुम्ही How It Works पेजवर वाचू शकता. थोडक्यात असे.
तुमच्या integration मधून येणारे signals
प्रत्येक integration त्याच्या context ने परवानगी दिलेलेच पाहते. Server-side integration ला request context, protocol details आणि client ते support करत असेल तर request signature दिसते. Browser integration ला ते जिथे चालते तिथल्या pages वरील interaction signals दिसतात. Application स्वतःच्या declarations देखील नोंदवू शकते, जसे user ने content AI assistance ने drafted असल्याचे mark करणे, किंवा agent client ने स्वतःला नाव देणे.
Proof of Actor प्रत्यक्ष उपस्थित असलेल्या evidence सोबत काम करते. तुमची website observe करू शकत नाही अशा गोष्टी ते पाहत असल्याचे भासवत नाही.
विशिष्ट अर्थ असलेले चार classes
प्रत्येक interaction या चार classes पैकी एका मध्ये येतो:
- Human: observable signals मानवी-नियंत्रित interaction सूचित करतात.
- Human + AI: AI assistance घोषित करण्यात आली आहे, किंवा ती पाहू शकणाऱ्या supported integration मधून दिसली आहे.
- Agent: automated किंवा agent-origin interaction, verifiable identity किंवा सावधपणे qualified inference ने समर्थित.
- Unknown: उपलब्ध evidence reliable determination ला आधार देत नाही.
प्रत्येक class सोबत स्पष्ट definition आणि स्पष्ट मर्यादा असते. Human result verified identity नाही. Agent result agent authorized आहे असे सांगत नाही. Unknown result आरोप नाही. संपूर्ण taxonomy तुम्ही Detection & Limitations पेजवर वाचू शकता.
प्रत्येक परिणामावर एक आधार
class सोबतच, प्रत्येक परिणाम त्याचा basis घेऊन येतो: verified, declared, inferred किंवा unknown. प्रकाशित key कडून valid signature असलेली request त्या तपासणीसाठी verified असते. स्वतःला agent म्हणून नाव देणाऱ्या client ने ते declared केलेले असते. automation शी सुसंगत असलेला behavior pattern म्हणजे inference. हाच फरक तुमच्या policies अचूक बनवतो. read-only route वरील verified signed agent आणि account settings page वरील self-declared client यांना सारखे हाताळू नये, आणि Proof of Actor मध्ये तसे करावे लागत नाही. evidence basis glossary entry हे प्रत्येक मुद्दा अधिक सविस्तर समजावते.
तुमच्या संघाला काय मिळते: Detect, Understand, Route
Proof of Actor हे एकच product आहे ज्यात तीन capabilities एकत्र काम करतात.
Detect
तुमच्या integration ला उपलब्ध असलेले actor signals गोळा करा आणि verified assertions ना behavioral inferences पासून वेगळे करा. Unknown traffic guess मध्ये मिसळण्याऐवजी स्वतःची category म्हणून visible राहते. कोणत्या interactions बद्दल confidence ने बोलता येईल आणि कोणत्या interactions साठी अधिक evidence हवे आहे हे तुम्हाला नेहमी माहिती असते.
Understand
तुमचा AI agent traffic context मध्ये पहा. route आणि वेळेनुसार interaction types explore करा, human, AI-assisted, agent आणि unknown activity मधील trends follow करा, आणि कोणत्याही classification मध्ये काय known आहे, काय known नाही, आणि result कशावर आधारलेला आहे ते पाहा. इथेच product, platform आणि security teams ना website कोण वापरत आहे याचा shared, explainable picture मिळतो.
Route
विशिष्ट interactions ना allow, adapt, challenge, review किंवा limit करण्यासाठी तुमच्या स्वतःच्या policies वापरा. तुमची documentation वाचणाऱ्या verified agent ला structured response द्या. human-directed sessions साठी standard experience ठेवा. तुमच्या स्वतःच्या conditions नुसार गरज पडल्यास sensitive account change वर stronger check मागा. Unknown results आणि timeouts साठी route नुसार explicit fallback निवडा. Enforcement नेहमी तुमच्या application मध्ये, तुमचा संघ पुष्टी केलेल्या policies अंतर्गत होते.
तुमची website बदलण्यासाठी नाही, तर तिच्यात बसण्यासाठी तयार केलेले
Proof of Actor तुम्ही आधीपासून चालवत असलेल्या tools सोबत बसते. ते तुमची authentication, तुमचे authorization model किंवा तुमचे existing abuse controls replace करत नाही. ते त्यात actor context जोडते.
सामान्य website integration त्या routes पासून सुरू होते जिथे actor context सर्वाधिक महत्त्वाचा असतो: agents मोठ्या प्रमाणावर वाचतात असे public content, signup आणि onboarding flows, account settings आणि इतर संवेदनशील actions, आणि site चालवणारा कोणताही API. Founding teams आमच्या engineers सोबत काम करून त्या routes निवडतात, scope मधील signals ठरवतात, आणि कोणतेही code ship होण्याआधी data कसे हाताळले जाईल ते confirm करतात.
Decision layer तुमच्या code मध्ये असल्यामुळे, experience वर नियंत्रण तुमच्याकडेच राहते. तुम्ही परिणाम internal dashboard मध्ये काही आठवडे दाखवू शकता, कोणतेही rule बदलण्यापूर्वी, नंतर एका route साठी एक अरुंद policy सुरू करू शकता, आणि परिणामांनी तुमचा विश्वास मिळाल्यावरच विस्तार करू शकता. unknown traffic हाताळणे या guide मध्ये त्या पहिल्या rules कसे design करायचे ते दिले आहे.
observation mode मध्ये सुरू करा
AI agent detection मधून value मिळवण्याचा सर्वात वेगवान मार्ग म्हणजे block न करता observe करून सुरू करणे. Observation mode मध्ये, Proof of Actor परिणाम नोंदवते, तर तुमची website त्याशिवाय जशी वागली असती तशीच वागते. त्यानंतर तुमचा संघ classifications ची तुलना तुम्हाला आधीच समजणाऱ्या outcomes शी करू शकतो: support tickets, known integrations, internal tools, आणि तुम्ही आधीपासून ओळखत असलेले crawlers.
यामुळे enforcement आधी तुम्हाला तीन गोष्टी मिळतात:
- एक baseline. तुमच्या traffic पैकी किती human-directed, AI-assisted, agent-driven किंवा unknown आहे, route नुसार.
- evidence वर confidence. तुमच्या website वर कोणते signals मजबूत आहेत आणि coverage कुठे वाढवायची आहे.
- चांगल्या policies. प्रत्यक्ष patterns वर आधारित rules, assumptions वर नाही, आणि false positives कोणालाही प्रभावित होण्यापूर्वी review केलेले.
Policy तयार झाली की, ती ज्या specific workflow साठी डिझाइन केली आहे त्यासाठी activate करता येते, आणि तुम्ही ती कधीही adjust करण्याची क्षमता ठेवता.
opaque scores ऐवजी evidence-backed detection का जिंकते
वेबसाइट्स आधीच agents, assistants आणि AI सोबत काम करणाऱ्या लोकांना एकत्र सेवा देतात. हे चांगल्या प्रकारे हाताळणाऱ्या teams सर्वात आक्रमक filters वापरणाऱ्या नसतील. त्या आपले निर्णय explain करू शकणाऱ्या teams असतील.
Evidence-backed results तुम्हाला ती explanation देतात. Support agent ने विचारले की user ला अतिरिक्त verification step का दिसला, तर तुम्ही evidence आणि लागू झालेली policy दाखवू शकता. Agent operator ने विचारले की त्याच्या signed requests ना structured response का मिळाला, तर तुम्ही verified basis दाखवू शकता. Evidence कमी असेल तेव्हा परिणाम Unknown म्हणतो, आणि तुमचा fallback तुम्ही जाणीवपूर्वक निवडलेल्या पद्धतीने तो हाताळतो.
हा दृष्टिकोन वेबसोबत scale देखील होतो. अधिक agent operators आपल्या requests sign करत गेल्यावर आणि IETF Web Bot Auth working group सारखे standards work, जे automated clients साठी cryptographic authentication standardize करण्यासाठी chartered आहे, HTTP message signatures वर आधारलेले work पुढे नेत गेल्यावर, तुमच्या traffic पैकी अधिक भाग inferred किंवा unknown कडून verified कडे जातो, आणि तुमच्या policies पुन्हा लिहिण्याची गरज न पडता अधिक precise होतात.
founding developer program मध्ये सहभागी व्हा
Proof of Actor सध्या applications teams च्या एका छोट्या गटासह private beta मध्ये आहे. निवडलेल्या founding developers ना agreed usage limits अंतर्गत up to 12 months मोफत access मिळू शकतो, प्रत्यक्ष product feedback च्या बदल्यात. तुम्हाला आमच्या engineers कडून थेट integration support, capabilities उपलब्ध होत गेल्यावर early access, आणि पुढे आपण काय build करतो यावर प्रत्यक्ष influence मिळते.
तुमची website लोकांना, AI-assisted users ना आणि agents ना सेवा देत असेल, आणि पुढे काय होईल हे ठरवण्यापूर्वी ती कोण वापरत आहे हे जाणून घ्यायचे असेल, तर early access साठी apply करा. तुमच्या website बद्दल आणि तुम्हाला सर्वाधिक समजून घ्यायचा असलेला interaction आम्हाला सांगा, आणि सध्याच्या beta साठी ते fit आहे का ते आम्ही review करू.
आधी तपशील पाहायचे आहेत का? Proof of Actor explore करा, how it works वाचा, किंवा evidence काय establish करू शकते आणि काय करू शकत नाही हे अचूकपणे review करा.
स्रोत
- RFC 9421: HTTP Message Signatures, IETF, February 2024.
- Web Bot Auth (webbotauth) working group charter, IETF.
- Overview of OpenAI crawlers, OpenAI.
- Does Anthropic crawl data from the web, and how can site owners block the crawler?, Anthropic.
- Verifying Googlebot and other Google crawlers, Google Search Central.
- How to verify that Bingbot is Bingbot, Bing Webmaster Blog.