এখন আপনার website-এ এক ধরনের নয়, একাধিক ধরনের visitor আছে
ওয়েবের ইতিহাসের বেশির ভাগ সময়ে একটি website একটি সহজ model ধরে নিতে পারত: একজন ব্যক্তি browser খোলে, এদিক-ওদিক ক্লিক করে, আর হয়তো sign in করে। Analytics, rate limits, onboarding flows এবং security checks সবই সেই person-কে কেন্দ্র করে তৈরি ছিল।
এখন সেই model বাস্তব traffic-কে আর বর্ণনা করে না। আজ একটি single website এমন people-কে সেবা দেয় যারা নিজেরাই browse করে, এমন people-কে যারা AI assistant-কে তাদের হয়ে কোনো কিছু summarize বা fill in করতে বলে, autonomous agents-কে যারা অন্য কারও পক্ষে pages পড়ে এবং endpoints call করে, এবং crawlers ও scripts-এর একটি দীর্ঘ লেজকে। AI providers নিজেরাই এই visitors-এর কয়েকটিকে document করে: উদাহরণ হিসেবে, OpenAI তার search crawler, training crawler এবং ChatGPT ব্যবহারকারী একটি প্রশ্ন করলে pages visit করা fetcher-এর জন্য আলাদা user agents প্রকাশ করে (OpenAI crawler documentation), এবং Anthropic একই কাজ করে ClaudeBot, Claude-User এবং Claude-SearchBot-এর জন্য (Anthropic crawler documentation). এদের মধ্যে কিছু visitor স্বাগত। কিছুজনের জন্য আলাদা experience দরকার। কিছুজন sensitive কিছু করার আগে আরও ঘনিষ্ঠভাবে দেখা দরকার।
চ্যালেঞ্জ হলো, প্রথম দেখায় এই interactions-এর বেশির ভাগই একই রকম লাগে। একটি login আপনাকে বলে কোন account ব্যবহৃত হচ্ছে। কিন্তু তা বলে না একজন person কি ক্লিক করছে, একটি assistant কি সেই session-এর মাধ্যমে কাজ করছে, নাকি একটি automated client অন্য কোথাও থাকা কোনো user-এর জন্য আপনার pricing page পড়ছে। ওয়েবসাইটের জন্য AI এজেন্ট সনাক্তকরণ হলো evidence-সহ এই gap বন্ধ করা, যাতে আপনার দল সব traffic-কে একইভাবে না দেখে প্রতিটি actor-এর ধরন অনুযায়ী সাড়া দিতে পারে। involved signals নিয়ে একটি ব্যবহারিক walkthrough-এর জন্য পড়ুন how to tell if website traffic comes from AI agents, এবং production site-এ এটি কেমন দেখায় তার জন্য websites use case দেখুন।
কেন একটি একক bot score যথেষ্ট নয়
অনেক tool এই প্রশ্নের উত্তর একটিই number দিয়ে দেয়: bot score, risk score, এমন একটি percentage যা দাবি করে একটি visitor কতটা human তা বর্ণনা করে। আকর্ষণটা স্পষ্ট। একটি number-কে rule-এ বসানো সহজ।
সমস্যা হলো, একটি single number reasoning-টা আড়াল করে। যখন একটি score বলে একটি session সম্ভবত automated, তখন আপনার দল দেখতে পারে না সেই সিদ্ধান্তটি একটি verified signature, যে user-agent string যে কেউ copy করতে পারে, বা এমন কোনো pattern-এর উপর দাঁড়িয়ে আছে কি না যা দ্রুত টাইপ করা human-এর সঙ্গেও মিলে যায়। যখন সেই score block বা challenge চালায়, তখন আপনি তার প্রতিটি ভুল বহন করেন, কোনো customer, colleague বা auditor-কে তা ব্যাখ্যা করার উপায় ছাড়াই।
Proof of Actor ভিন্ন approach নেয়। প্রতিটি ফলাফল চারটি স্পষ্ট class-এর একটি, যা Human, AI-assisted or agent: a taxonomy for app traffic-এ ব্যাখ্যা করা হয়েছে, এবং প্রতিটি ফলাফল বলে এটি কোন ভিত্তির উপর দাঁড়িয়ে আছে। আপনি conclusion এবং evidence একসঙ্গে দেখেন, যার মানে আপনি শক্তিশালী result-এ ভরসা করতে পারেন, দুর্বলগুলোকে প্রশ্ন করতে পারেন, এবং evidence-এর মানের সঙ্গে মানানসই policy তৈরি করতে পারেন।
চার ধাপে আপনার website-এ AI agent কীভাবে সনাক্ত করবেন
আপনার কাছে already থাকা tool দিয়েই আপনি আপনার website-এ AI agent সনাক্ত করা শুরু করতে পারেন। এই চারটি ধাপ vendor-neutral এবং আপনি Proof of Actor ব্যবহার করুন বা না করুন কাজ করে; how to tell if website traffic comes from AI agents-এর blog post প্রতিটি ধাপ আরও বিস্তারিতভাবে কভার করে।
- যে agents নিজেই নিজেদের ঘোষণা করে তাদের তালিকা করুন। AI providers যে user agents প্রকাশ করে, সেগুলোর জন্য আপনার server বা CDN logs খুঁজুন। OpenAI OAI-SearchBot, GPTBot এবং ChatGPT-User document করে, এবং জানায় যে ChatGPT-User automatic crawl না করে, বরং যখন একজন user ChatGPT-কে প্রশ্ন করে তখন pages visit করে। Anthropic ClaudeBot, Claude-User এবং Claude-SearchBot document করে। এটি আপনাকে route অনুযায়ী agent traffic-এর একটি প্রথম, declared picture দেয়।
- String-টিকে বিশ্বাস না করে দাবি যাচাই করুন। একটি user agent self-reported এবং copy করা সহজ। অপারেটরের নিজের verification method-এর সঙ্গে এটি মিলিয়ে দেখুন: Google Googlebot-এর জন্য reverse DNS lookup, তারপর forward DNS lookup, এবং প্রকাশিত IP range files বর্ণনা করে (Google: verifying Googlebot); Bing Bingbot-এর জন্য একই reverse এবং forward DNS check বর্ণনা করে (Bing: verifying Bingbot); OpenAI তার প্রতিটি user agent-এর জন্য IP range files প্রকাশ করে। যখন কোনো client তার request-এ HTTP Message Signatures দিয়ে সই করে, যা RFC 9421-এ সংজ্ঞায়িত, তখন signature-টি অপারেটরের প্রকাশিত key-এর সঙ্গে যাচাই করুন।
- প্রতিটি ফলাফলকে তার evidence-সহ label করুন, এবং Unknown বজায় রাখুন। প্রতিটি conclusion verified, declared বা inferred কি না তা নথিভুক্ত করুন। যে traffic কোনো verified বা declared agent-এর সঙ্গে মেলে না এবং human pattern-এর স্পষ্ট চিহ্ন দেখায় না, তাকে human বা bot-এ জোর করে ঢোকাবেন না, Unknown হিসেবে label করুন। এই ধাপটিই উপযোগী report-কে একটি অনুমান থেকে আলাদা করে।
- কাজ করার আগে route অনুযায়ী observe করুন। কয়েক সপ্তাহ ধরে ফলাফলকে route এবং workflow অনুযায়ী ভেঙে দেখুন: public content, signup, account settings, APIs। তারপরই actor context সবচেয়ে বেশি গুরুত্বপূর্ণ এমন route-এর জন্য একটি সংকীর্ণ policy লিখুন, এবং Unknown-এর জন্য একটি স্পষ্ট fallback রাখুন।
Proof of Actor এই ধাপগুলো আপনার application-এর ভেতরেই automate করে: এটি আপনার integration যে signals দেখতে পারে সেগুলো সংগ্রহ করে, basis-সহ একটি class ফেরত দেয়, route অনুযায়ী Unknown track করে, এবং policy আপনার code-এ ছেড়ে দেয়।
Proof of Actor কীভাবে ওয়েবসাইটে AI agent সনাক্ত করে
Proof of Actor একটি সহজ path-এর উপর তৈরি: আপনার integration যে signals observe করতে পারে, একটি explicit basis-সহ classification, এবং একটি decision যা আপনার হাতেই থাকে। সম্পূর্ণ flow আপনি How It Works পৃষ্ঠায় পড়তে পারেন। সংক্ষিপ্ত version এখানে।
আপনার integration থেকে signals
প্রতিটি integration তার context যা অনুমতি দেয় তাই দেখে। একটি server-side integration request context, protocol details এবং, যখন কোনো client এটি সমর্থন করে, request signature দেখে। একটি browser integration যেসব page-এ চলে সেখানে interaction signals দেখে। একটি application তার own declaration-ও record করতে পারে, যেমন একজন user AI assistance দিয়ে content draft করেছে বলে marking করা, বা একটি agent client নিজেকে নাম দেওয়া।
Proof of Actor আসলেই যে evidence উপস্থিত আছে তার সঙ্গেই কাজ করে। এটি এমন কিছু দেখার ভান করে না যা আপনার website observe করতে পারে না।
চারটি class, যাদের নির্দিষ্ট অর্থ আছে
প্রতিটি interaction চারটি class-এর একটিতে পড়ে:
- Human: observable signals দেখায় human-directed interaction।
- Human + AI: AI assistance ঘোষণা করা হয়েছে, অথবা এমন একটি supported integration-এর মাধ্যমে দেখা গেছে যা এটি দেখতে পারে।
- Agent: automated বা agent-origin interaction, যা verifiable identity বা সতর্কভাবে qualified inference দ্বারা সমর্থিত।
- Unknown: available evidence reliable determination-কে সমর্থন করে না।
প্রতিটি class-এর একটি স্পষ্ট definition এবং একটি স্পষ্ট সীমা আছে। Human result কোনো verified identity নয়। Agent result এই বক্তব্য নয় যে agent-টি authorized। Unknown result কোনো accusation নয়। সম্পূর্ণ taxonomy আপনি Detection & Limitations পৃষ্ঠায় পড়তে পারেন।
প্রতিটি ফলাফলে একটি basis
class-এর পাশাপাশি, প্রতিটি ফলাফল তার basis বহন করে: verified, declared, inferred বা unknown। একটি published key থেকে valid signature বহনকারী request সেই check-এর জন্য verified। যে client নিজেকে agent হিসেবে পরিচয় দেয়, তা declared করেছে। automation-এর সঙ্গে সামঞ্জস্যপূর্ণ আচরণের pattern একটি inference। এই distinction-ই আপনার policy-কে precise হতে দেয়। একটি read-only route-এ verified signed agent এবং একটি account settings page-এ self-declared client-কে একইভাবে সামলানো উচিত নয়, আর Proof of Actor-এর সঙ্গে তা করার প্রয়োজনও নেই। evidence basis glossary entry প্রতিটির আরও বিস্তারিত ব্যাখ্যা করে।
আপনার team কী পায়: Detect, Understand, Route
Proof of Actor একটি product, যার তিনটি capability একসঙ্গে কাজ করে।
Detect
আপনার integration-এর কাছে available actor signals সংগ্রহ করুন এবং verified assertion-কে behavioral inference থেকে আলাদা করুন। Unknown traffic একটি guess-এ মিশে না গিয়ে নিজের category হিসেবেই visible থাকে। কোন interactions নিয়ে আপনি আত্মবিশ্বাসের সঙ্গে কথা বলতে পারেন আর কোনগুলোর আরও evidence দরকার, তা আপনি সবসময় জানেন।
Understand
AI agent traffic-কে context-এ দেখুন। route এবং time অনুযায়ী interaction types অনুসন্ধান করুন, human, AI-assisted, agent এবং unknown activity-র trend অনুসরণ করুন, এবং যেকোনো classification খুলে দেখুন কী জানা আছে, কী জানা নেই, এবং result কীসের উপর দাঁড়িয়ে আছে। এখানেই product, platform এবং security দল কারা website ব্যবহার করছে তার একটি ভাগাভাগি করা, ব্যাখ্যাযোগ্য picture পায়।
Route
নির্দিষ্ট interaction-এ allow, adapt, challenge, review বা limit করতে আপনার own policy ব্যবহার করুন। আপনার documentation পড়া verified agent-কে একটি structured response দিন। human-directed session-এর জন্য standard experience বজায় রাখুন। আপনার own condition অনুযায়ী sensitive account change-এ আরও শক্তিশালী check চাইুন। route-by-route Unknown result এবং timeout-এর জন্য একটি explicit fallback বেছে নিন। enforcement সবসময় আপনার application-এ হয়, আপনার দল যে policy নিশ্চিত করেছে তার অধীনে।
আপনার website-এ ফিট করার জন্য তৈরি, এটি বদলে দেওয়ার জন্য নয়
Proof of Actor আপনার already-running tool-এর পাশে বসে। এটি আপনার authentication, authorization model বা existing abuse controls-কে প্রতিস্থাপন করে না। এটি তাদের সঙ্গে actor context যোগ করে।
একটি সাধারণ website integration শুরু হয় সেই route-গুলো দিয়ে যেখানে actor context সবচেয়ে বেশি গুরুত্বপূর্ণ: public content যা agents ব্যাপকভাবে পড়ে, signup এবং onboarding flow, account settings এবং অন্যান্য sensitive action, এবং site চালানোর যেকোনো API। Founding team-রা আমাদের engineer-দের সঙ্গে কাজ করে সেই route-গুলো বেছে নেয়, scope-এর signals-এ একমত হয়, এবং কোনো code ship করার আগে data কীভাবে handle হবে তা নিশ্চিত করে।
কারণ decision layer আপনার code-এ থাকে, experience-এর উপর আপনি নিয়ন্ত্রণে থাকেন। আপনি কয়েক সপ্তাহ internal dashboard-এ result দেখাতে পারেন কোনো rule পরিবর্তন ছাড়াই, তারপর একটি route-এর জন্য একটি মাত্র সংকীর্ণ policy চালু করতে পারেন, তারপর ফলাফল আপনার trust অর্জন করলে তা expand করতে পারেন। handling unknown traffic-এর guide প্রথম rule-গুলো কীভাবে design করবেন তা দেখায়।
observation mode-এ শুরু করুন
AI agent detection থেকে value পাওয়ার দ্রুততম উপায় হলো block না করে watch দিয়ে শুরু করা। observation mode-এ, Proof of Actor আপনার website এমনভাবে response দেয় যেমন এটি ছাড়া দিত, আর meanwhile ফলাফল record করে। তারপর আপনার দল classifications-কে সেই outcomes-এর সঙ্গে তুলনা করতে পারে যা আপনি already understand: support tickets, known integrations, internal tools, এবং যে crawlers-গুলো আপনি ইতিমধ্যেই চেনেন।
এটি enforcement-এর আগে আপনাকে তিনটি জিনিস দেয়:
- একটি baseline। আপনার traffic-এর কতটা human-directed, AI-assisted, agent-driven বা unknown, route অনুযায়ী।
- evidence-এ confidence। আপনার website-এ কোন signals শক্তিশালী এবং কোথায় coverage বাড়ানো দরকার।
- ভালো policy। বাস্তব pattern-এর উপর ভিত্তি করে তৈরি rule, অনুমানের উপর নয়, false positive আগে থেকেই পর্যালোচিত, যাতে কেউ প্রভাবিত হওয়ার আগে তা দেখা যায়।
যখন কোনো policy প্রস্তুত হয়, আপনি সেটিকে নির্দিষ্ট workflow-এর জন্য চালু করেন যার জন্য এটি তৈরি, এবং যেকোনো সময় তা adjust করার ability আপনার থাকে।
কেন opaque score-এর চেয়ে evidence-backed detection জিতে
ওয়েবসাইট ইতিমধ্যেই agents, assistants এবং AI-এর সঙ্গে কাজ করা people-কে পাশাপাশি service দেয়। যারা এটি ভালোভাবে সামলাবে তারা সবচেয়ে aggressive filter-ওয়ালা দল হবে না। তারা হবে সেই দল, যারা তাদের decision ব্যাখ্যা করতে পারে।
Evidence-backed result আপনাকে সেই explanation দেয়। যখন কোনো support agent জিজ্ঞেস করে কেন একজন user অতিরিক্ত verification step দেখেছিল, আপনি evidence এবং প্রযোজ্য policy দেখাতে পারেন। যখন কোনো agent operator জিজ্ঞেস করে কেন তার signed request-গুলো structured response পেয়েছিল, আপনি verified basis দেখাতে পারেন। যখন evidence পাতলা, ফলাফল Unknown বলে, এবং আপনার fallback তা এমনভাবে সামলায় যা আপনি ইচ্ছাকৃতভাবে বেছে নিয়েছেন।
এই approach ওয়েবের সঙ্গে scale-ও করে। আরও বেশি agent operator যখন তাদের request sign করে এবং IETF Web Bot Auth working group-এর মতো standards কাজ, যা automated client-এর জন্য cryptographic authentication standardize করার উদ্দেশ্যে chartered, HTTP message signatures-এর উপর ভিত্তি করে এগোয়, তখন আপনার traffic-এর আরও বেশি অংশ inferred বা unknown থেকে verified-এ যায়, এবং আপনার policy আবার লিখতে না হয়েও আরও precise হয়।
founding developer program-এ যোগ দিন
Proof of Actor ছোট একটি application team-এর সঙ্গে private beta-তে আছে। নির্বাচিত founding developer-রা agreed usage limits-এর মধ্যে up to 12 months of free access পেতে পারেন, hands-on product feedback-এর বিনিময়ে। আপনি আমাদের engineer-দের কাছ থেকে direct integration support, feature available হওয়ার সঙ্গে সঙ্গে early access, এবং আমরা পরবর্তী কী তৈরি করব তাতে বাস্তব প্রভাব পাবেন।
যদি আপনার website people, AI-assisted users এবং agents-কে service দেয়, এবং পরের ধাপে কী হবে তা নির্ধারণ করার আগে কে এটি ব্যবহার করছে তা আপনি জানতে চান, apply for early access। আপনার website এবং আপনি যে interaction-টি সবচেয়ে বেশি বুঝতে চান তা আমাদের জানান, আর বর্তমান beta-এর জন্য এটি fit করে কি না আমরা review করব।
প্রথমে বিস্তারিত দেখতে চান? Proof of Actor explore করুন, how it works পড়ুন, অথবা ঠিক কী evidence establish করতে পারে আর কী পারে না তা what the evidence can and cannot establish-এ review করুন।
Sources
- RFC 9421: HTTP Message Signatures, IETF, February 2024.
- Web Bot Auth (webbotauth) working group charter, IETF.
- Overview of OpenAI crawlers, OpenAI.
- Does Anthropic crawl data from the web, and how can site owners block the crawler?, Anthropic.
- Verifying Googlebot and other Google crawlers, Google Search Central.
- How to verify that Bingbot is Bingbot, Bing Webmaster Blog.