உங்கள் வலைத்தளத்தில் இப்போது ஒரே வகை வருகையாளர் மட்டும் இல்லை
வெப்பின் பெரும்பாலான வரலாற்றில், ஒரு வலைத்தளம் ஒரு எளிய மாதிரியைப் பொறுத்து இயங்கியது: ஒரு மனிதர் browser-ஐத் திறக்கிறார், இங்கு அங்கு சொடுக்கு செய்கிறார், மற்றும் சில சமயம் sign in செய்கிறார். Analytics, rate limits, onboarding flows மற்றும் security checks அனைத்தும் அந்த மனிதரை மையமாக வைத்து வடிவமைக்கப்பட்டிருந்தன.
அந்த மாதிரி இப்போது நிஜ traffic-ஐ விவரிக்கவில்லை. இன்று ஒரு single website தன்னிச்சையாக உலாவும் மனிதர்களையும், தங்களுக்குப் பதிலாக ஏதாவது சுருக்க அல்லது நிரப்ப AI assistant-ஐ கேட்கும் மனிதர்களையும், வேறொருவரின் சார்பில் pages-ஐ படித்து endpoints-ஐ அழைக்கும் autonomous agents-ஐயும், மேலும் crawler-கள் மற்றும் scripts-களின் நீண்ட வரிசையையும் சேவைக்கிறது. AI providers இவற்றில் பல visitor-களைத் தாங்களே ஆவணப்படுத்துகிறார்கள்: எடுத்துக்காட்டாக OpenAI தனது search crawler, training crawler மற்றும் ஒரு ChatGPT user கேள்வி கேட்கும்போது pages-ஐ பார்வையிடும் fetcher-க்காக தனித்தனி user agents-ஐ வெளியிடுகிறது (OpenAI crawler documentation), மேலும் Anthropic ClaudeBot, Claude-User மற்றும் Claude-SearchBot-க்காக அதையே செய்கிறது (Anthropic crawler documentation). இவ்வாசிகள் சிலர் வரவேற்கப்படுகிறார்கள். சிலருக்கு வேறு அனுபவம் தேவை. சிலர் எந்தவொரு sensitive செயலையும் செய்வதற்கு முன் நெருங்கிய ஆய்வு தேவை.
சவால் என்னவென்றால், இந்த தொடர்புகளில் பெரும்பாலானவை முதலில் பார்ப்பதற்கு ஒத்ததாகத் தெரிகின்றன. ஒரு login எந்த account பயன்படுத்தப்படுகிறது என்பதைச் சொல்கிறது. ஆனால் ஒரு மனிதர் click செய்கிறாரா, ஒரு assistant அந்த session மூலமாக செயல்படுகிறதா, அல்லது ஒரு automated client வேறொருவருக்காக உங்கள் pricing page-ஐ படிக்கிறதா என்பதைச் சொல்லாது. வலைத்தளங்களுக்கான AI முகவர் கண்டறிதல் என்பது ஆதாரத்துடன் அந்த இடைவெளியை மூடுவது பற்றியது, இதனால் உங்கள் குழு அனைத்து traffic-ஐயும் ஒரே மாதிரியாகக் கருதுவதற்கு பதிலாக ஒவ்வொரு actor வகைக்கும் உரிய முறையில் பதிலளிக்க முடியும். இதில் உள்ள signals-ஐ நடைமுறையில் புரிந்துகொள்ள, வலைத்தள traffic AI agents-இலிருந்து வருகிறதா என்பதை எப்படி சொல்லுவது என்பதைப் படிக்கவும், மற்றும் production site-இல் இது எப்படி தெரிகிறது என்பதை வலைத்தளங்கள் பயன்பாட்டு நிலை-இல் பார்க்கவும்.
ஏன் ஒரே bot score போதுமானதல்ல
பல tools இந்த கேள்விக்கு ஒரே எண்ணால் பதிலளிக்கின்றன: bot score, risk score, ஒரு visitor எவ்வளவு மனிதர் போல இருக்கிறார் என்று கூறும் percentage. அதன் ஈர்ப்பு தெளிவானது. ஒரே எண் ஒரு rule-க்கு எளிதாக பொருந்துகிறது.
ஆனால் பிரச்சினை என்னவென்றால், ஒரே எண் காரணத்தை மறைக்கிறது. ஒரு score ஒரு session probably automated என்று சொன்னால், அந்த முடிவு verified signature-ஐ அடிப்படையாகக் கொண்டதா, யாரும் நகலெடுக்கக்கூடிய user-agent string-ஆதாரமா, அல்லது வேகமாக type செய்யும் மனிதருக்கும் பொருந்தும் pattern-ஆதாரமா என்பதை உங்கள் குழு பார்க்க முடியாது. அந்த score ஒரு block அல்லது challenge-ஐ இயக்கும்போது, அதை customer, colleague அல்லது auditor-க்கு விளக்க எந்த வழியும் இல்லாமல் அதன் ஒவ்வொரு தவறையும் நீங்கள் ஏற்றுக்கொள்கிறீர்கள்.
Proof of Actor வேறு அணுகுமுறையை எடுத்துக்கொள்கிறது. ஒவ்வொரு முடிவும் நான்கு தெளிவான வகைகளில் ஒன்றாகும், இது Human, AI-assisted or agent: ஒரு app traffic வகைப்பாடு-இல் விளக்கப்பட்டுள்ளது, மேலும் ஒவ்வொரு முடிவும் அது எதை அடிப்படையாகக் கொண்டது என்பதைக் கூறுகிறது. நீங்கள் முடிவையும் ஆதாரத்தையும் ஒன்றாகப் பார்க்கிறீர்கள், அதாவது வலுவான முடிவுகளை நம்பவும், பலவீனமானவற்றை கேள்வி கேட்கவும், ஆதாரத்தின் தரத்துடன் பொருந்தும் policies-ஐ உருவாக்கவும் முடியும்.
உங்கள் வலைத்தளத்தில் AI agents-ஐ நான்கு படிகளில் எப்படி கண்டறிவது
உங்களிடம் ஏற்கனவே உள்ள tools-ஐப் பயன்படுத்தி உங்கள் வலைத்தளத்தில் AI agents-ஐ கண்டறியத் தொடங்கலாம். இந்த நான்கு படிகள் vendor-neutral ஆகும், மேலும் நீங்கள் Proof of Actor-ஐ பயன்படுத்தினாலும் இல்லையென்றாலும் செயல்படும்; வலைத்தள traffic AI agents-இலிருந்து வருகிறதா என்பதை எப்படி சொல்லுவது என்ற blog post இவை ஒவ்வொன்றையும் மேலும் விரிவாகக் கையாளுகிறது.
- தங்களை அறிவிக்கும் agents-ஐ பட்டியலிடுங்கள். உங்கள் server அல்லது CDN logs-இல் AI providers வெளியிடும் user agents-ஐத் தேடுங்கள். OpenAI OAI-SearchBot, GPTBot மற்றும் ChatGPT-User-ஐ ஆவணப்படுத்துகிறது, மேலும் ChatGPT-User ஒரு user ChatGPT-க்கு கேள்வி கேட்கும்போது தானாக crawl செய்வதற்குப் பதிலாக pages-ஐ பார்வையிடுகிறது என்று கூறுகிறது. Anthropic ClaudeBot, Claude-User மற்றும் Claude-SearchBot-ஐ ஆவணப்படுத்துகிறது. இது route-ஆக declared செய்யப்பட்ட agent traffic-இன் ஒரு தொடக்கப் படத்தை வழங்குகிறது.
- String-ஐ நம்புவதற்குப் பதிலாக claims-ஐ verify செய்யுங்கள். User agent self-reported ஆகும், மேலும் எளிதாக நகலெடுக்கலாம். Operator-ன் சொந்த verification method-க்கு அதைச் சரிபார்க்கவும்: Google reverse DNS lookup-ஐ தொடர்ந்து forward DNS lookup-ஐ, மேலும் published IP range files-ஐ Googlebot-க்காக விவரிக்கிறது (Google: verifying Googlebot); Bing அதே reverse மற்றும் forward DNS check-ஐ Bingbot-க்காக விவரிக்கிறது (Bing: verifying Bingbot); OpenAI தனது ஒவ்வொரு user agent-க்கும் IP range files-ஐ வெளியிடுகிறது. ஒரு client அதன் requests-ஐ RFC 9421-இல் வரையறுக்கப்பட்ட HTTP Message Signatures-உடன் கையொப்பமிடுகிறதானால், அந்த signature-ஐ operator-ன் வெளியிடப்பட்ட key-க்கு எதிராகச் சரிபார்க்கவும்.
- ஒவ்வொரு முடிவையும் அதன் ஆதாரத்துடன் குறிக்கவும், Unknown-ஐ வைத்திருக்கவும். ஒவ்வொரு முடிவும் verified, declared அல்லது inferred என்பதைப் பதிவுசெய்யவும். எந்த verified அல்லது declared agent-க்கும் பொருந்தாத, மற்றும் தெளிவான மனித pattern-ஐக் காட்டாத traffic-ஐ மனிதர் அல்லது bot என்று கட்டாயப்படுத்தாமல் Unknown எனக் குறிக்க வேண்டும். இதுவே பயனுள்ள report-ஐ ஒரு கணிப்பிலிருந்து பிரிக்கும் படியாகும்.
- நீங்கள் செயல்படுவதற்கு முன் route-ஆக observe செய்யுங்கள். சில வாரங்களுக்கு முடிவுகளை route மற்றும் workflow-ஆக பிரிக்கவும்: public content, signup, account settings, APIs. அதன் பிறகு actor context மிக அதிக முக்கியத்துவம் பெறும் route-க்காக மட்டுமே ஒரு narrow policy எழுதுங்கள், மேலும் Unknown-க்கான explicit fallback-ஐ சேர்க்கவும்.
Proof of Actor இந்த படிகளை உங்கள் application-க்குள் தானாக செய்கிறது: உங்கள் integration காணக்கூடிய signals-ஐ சேகரிக்கிறது, ஒரு class-ஐ அதன் basis-உடன் வழங்குகிறது, Unknown-ஐ route-ஆக கண்காணிக்கிறது, மேலும் policy-யை உங்கள் code-க்கு விட்டுவைக்கிறது.
Proof of Actor websites-இல் AI agents-ஐ எப்படி கண்டறிகிறது
Proof of Actor ஒரு எளிய பாதையைச் சுற்றியே கட்டப்பட்டுள்ளது: உங்கள் integration கவனிக்கக்கூடிய signals, தெளிவான basis-உடன் ஒரு வகைப்படுத்தல், மற்றும் உங்கள் கையில் இருக்கும் ஒரு முடிவு. முழு flow-ஐ How It Works பக்கத்தில் படிக்கலாம். இங்கே சுருக்கமான பதிப்பு.
உங்கள் integration-இலிருந்து வரும் signals
ஒவ்வொரு integration-ம் அதன் context அனுமதிப்பதை மட்டுமே பார்க்கிறது. ஒரு server-side integration request context, protocol details மற்றும், client அதை ஆதரித்தால், ஒரு request signature-ஐப் பார்க்கிறது. ஒரு browser integration அது இயங்கும் pages-இல் interaction signals-ஐப் பார்க்கிறது. ஒரு application தன் சொந்த declarations-ஐயும் பதிவு செய்ய முடியும், உதாரணமாக ஒரு user content-ஐ AI assistance-உடன் drafted எனக் குறிப்பது அல்லது ஒரு agent client தன்னை பெயரிடுவது.
Proof of Actor உண்மையில் இருப்பதையே ஆதாரமாகக் கொண்டு செயல்படுகிறது. உங்கள் வலைத்தளம் காண முடியாதவற்றைக் காணும் போல நடிப்பதில்லை.
குறிப்பிட்ட அர்த்தம் கொண்ட நான்கு classes
ஒவ்வொரு தொடர்பும் நான்கு classes-இல் ஒன்றில் விழுகிறது:
- Human: காணக்கூடிய signals மனிதர் இயக்கிய தொடர்பைக் காட்டுகின்றன.
- Human + AI: AI உதவி அறிவிக்கப்பட்டது, அல்லது அதை காணக்கூடிய ஒரு supported integration மூலம் கவனிக்கப்பட்டது.
- Agent: தானியங்கு அல்லது agent-origin தொடர்பு, சரிபார்க்கக்கூடிய identity அல்லது கவனமாக தகுதி அளிக்கப்பட்ட inference மூலம் ஆதரிக்கப்படுகிறது.
- Unknown: கிடைக்கும் ஆதாரம் நம்பகமான முடிவை ஆதரிக்கவில்லை.
ஒவ்வொரு class-உம் தெளிவான வரையறையும் தெளிவான எல்லையும் உடன் வருகிறது. Human result என்பது verified identity அல்ல. Agent result என்பது அந்த agent authorized என்று கூறுவதில்லை. Unknown result என்பது குற்றச்சாட்டு அல்ல. முழு taxonomy-ஐ Detection & Limitations பக்கத்தில் படிக்கலாம்.
ஒவ்வொரு முடிவிலும் ஒரு basis
Class-உடன் சேர்ந்து, ஒவ்வொரு முடிவும் அதன் basis-ஐக் கொண்டுள்ளது: verified, declared, inferred அல்லது unknown. ஒரு published key-இலிருந்து சரியான signature-ஐக் கொண்ட request அந்தச் சரிபார்ப்புக்காக verified ஆகும். தன்னை agent எனக் குறிப்பிடும் client அதை declared செய்கிறது. automation-க்கு ஒத்த நடத்தை pattern ஒரு inference ஆகும். இந்த வேறுபாடுதான் உங்கள் policies-ஐ துல்லியமாக்குகிறது. read-only route-இல் உள்ள verified signed agent-க்கும் account settings page-இல் தன்னை அறிவித்த client-க்கும் ஒரே விதமாக நடத்தப்பட வேண்டியதில்லை, மேலும் Proof of Actor-உடன் அவை அவ்வாறு இருக்க வேண்டியதில்லை. evidence basis glossary entry இவை ஒவ்வொன்றையும் மேலும் விரிவாக விளக்குகிறது.
உங்கள் குழுவுக்குக் கிடைப்பவை: Detect, Understand, Route
Proof of Actor என்பது ஒன்றாகச் செயல்படும் மூன்று திறன்களைக் கொண்ட ஒரே product.
Detect
உங்கள் integration-க்கு கிடைக்கும் actor signals-ஐ சேகரித்து, verified assertions-ஐ behavioral inferences-இலிருந்து பிரிக்கவும். Unknown traffic ஒரு கணிப்பில் கலந்துவிடாமல் தனித்த category-ஆகவே தெரியும். எந்த தொடர்புகள் குறித்து நீங்கள் நம்பிக்கையுடன் பேச முடியும், எவற்றுக்கு மேலும் ஆதாரம் தேவை என்பதை நீங்கள் எப்போதும் அறிவீர்கள்.
Understand
உங்கள் AI agent traffic-ஐ context-உடன் காணுங்கள். route-ஆகவும் time-ஆகவும் interaction வகைகளை ஆராயுங்கள், human, AI-assisted, agent மற்றும் unknown activity-இல் trend-களைப் பின்தொடருங்கள், மேலும் எந்த classification-ஐயும் திறந்து என்ன தெரியும், என்ன தெரியாது, மற்றும் முடிவு எதை அடிப்படையாகக் கொண்டது என்பதைப் பாருங்கள். இதுவே product, platform மற்றும் security குழுக்கள் வலைத்தளத்தை யார் பயன்படுத்துகிறார்கள் என்பதற்கான ஒரு பகிர்ந்த, விளக்கக்கூடிய படத்தைப் பெறும் இடமாகும்.
Route
குறிப்பிட்ட தொடர்புகளை allow, adapt, challenge, review அல்லது limit செய்ய உங்கள் சொந்த policies-ஐப் பயன்படுத்துங்கள். உங்கள் documentation-ஐப் படிக்கும் ஒரு verified agent-க்கு structured response ஒன்றை வழங்குங்கள். மனிதர் இயக்கும் sessions-க்கு வழக்கமான அனுபவத்தைத் தொடருங்கள். உங்கள் சொந்த நிபந்தனைகள் தேவைப்படும்போது ஒரு sensitive account change-க்கு வலுவான check-ஐ கேளுங்கள். Unknown results-க்கும் timeouts-க்கும் route-by-route explicit fallback-ஐத் தேர்வுசெய்யுங்கள். Enforcement எப்போதும் உங்கள் application-இல், உங்கள் குழு உறுதிப்படுத்தும் policies-ன் கீழ் நடக்கும்.
உங்கள் வலைத்தளத்தில் பொருந்துமாறு வடிவமைக்கப்பட்டது, அதை மாற்றுவதற்காக அல்ல
Proof of Actor நீங்கள் ஏற்கனவே இயக்கும் tools-க்கு அருகில் இயங்குகிறது. அது உங்கள் authentication, உங்கள் authorization model அல்லது உங்கள் existing abuse controls-ஐ மாற்றுவதில்லை. அதற்குப் பதிலாக actor context-ஐ அவற்றுடன் சேர்க்கிறது.
ஒரு வழக்கமான website integration actor context மிக முக்கியமான routes-இல் தொடங்குகிறது: agents அதிகமாக படிக்கும் public content, signup மற்றும் onboarding flows, account settings மற்றும் பிற sensitive actions, மேலும் site-ஐ இயக்கும் எந்த API-யும். Founding குழுக்கள் எங்கள் engineers-உடன் இணைந்து அந்த routes-ஐத் தேர்வுசெய்கிறார்கள், scope-இல் உள்ள signals-ஐ ஒப்புக்கொள்கிறார்கள், மற்றும் எந்த code-மும் அனுப்பப்படுவதற்கு முன் data எப்படி கையாளப்படுகிறது என்பதை உறுதிப்படுத்துகிறார்கள்.
முடிவு layer உங்கள் code-இல் இருப்பதால், அனுபவத்தின் கட்டுப்பாடு உங்களிடம் இருக்கும். வாரக்கணக்கில் எந்த rule மாற்றமும் இல்லாமல் internal dashboard-இல் முடிவுகளை காட்டலாம், பின்னர் ஒரே route-க்கு மட்டும் ஒரு narrow policy-யை இயக்கலாம், பின்னர் முடிவுகள் உங்கள் நம்பிக்கையைப் பெற்ற பிறகு விரிவாக்கலாம். Unknown traffic-ஐ கையாளுதல் பற்றிய வழிகாட்டி அந்த முதல் rules-ஐ எப்படிச் வடிவமைப்பது என்பதை விளக்குகிறது.
Observation mode-இல் தொடங்குங்கள்
AI agent detection-இலிருந்து மதிப்பு பெறுவதற்கான மிக வேகமான வழி தடுப்பதற்குப் பதிலாக கவனிப்பதிலிருந்து தொடங்குவதாகும். Observation mode-இல், Proof of Actor உங்கள் website அது இல்லாதபோது எப்படி பதிலளித்திருக்குமோ அப்படியே பதிலளிக்கும் போது முடிவுகளைப் பதிவு செய்கிறது. அதன் பிறகு உங்கள் குழு classification-களை நீங்கள் ஏற்கனவே புரிந்துள்ள outcomes-உடன் ஒப்பிடலாம்: support tickets, known integrations, internal tools மற்றும் நீங்கள் ஏற்கனவே அடையாளம் காணும் crawlers.
இது enforcement-க்கு முன் உங்களுக்கு மூன்று விஷயங்களை அளிக்கிறது:
- ஒரு baseline. route-ஆக human-directed, AI-assisted, agent-driven அல்லது unknown traffic எவ்வளவு உள்ளது என்பதைக் காணலாம்.
- ஆதாரத்தில் நம்பிக்கை. உங்கள் website-இல் எந்த signals வலுவானவை, எங்கு coverage வளர வேண்டும் என்பதைக் காணலாம்.
- மேம்பட்ட policies. ஊகங்களுக்குப் பதிலாக நிஜ pattern-களை அடிப்படையாகக் கொண்ட rules, மேலும் false positives யாரையும் பாதிப்பதற்கு முன் மதிப்பாய்வு செய்யப்பட்டிருக்கும்.
ஒரு policy தயாரானதும், அது வடிவமைக்கப்பட்ட குறிப்பிட்ட workflow-க்கு அதை இயக்குவீர்கள், மேலும் எந்த நேரத்திலும் அதைச் சரிசெய்யும் திறனை வைத்திருப்பீர்கள்.
ஏன் opaque scores-ஐ விட ஆதாரத்தை அடிப்படையாகக் கொண்ட detection வெற்றி பெறுகிறது
வலைத்தளங்கள் ஏற்கனவே agents, assistants மற்றும் AI-யுடன் பணிபுரியும் மனிதர்களை அருகருகே சேவைக்கின்றன. இதை நன்றாக கையாளும் குழுக்கள் மிகக் கடுமையான filters-ஐ வைத்திருப்பவர்கள் அல்ல. தங்கள் முடிவுகளை விளக்க முடியும் குழுக்களாக இருப்பார்கள்.
ஆதாரத்தை அடிப்படையாகக் கொண்ட முடிவுகள் அந்த விளக்கத்தைத் தருகின்றன. ஒரு support agent, ஏன் ஒரு user கூடுதல் verification step-ஐ பார்த்தார் என்று கேட்கும்போது, நீங்கள் ஆதாரத்தையும் பொருந்திய policy-யையும் காட்டலாம். ஒரு agent operator, ஏன் அதன் signed requests-க்கு structured response வழங்கப்பட்டது என்று கேட்கும்போது, நீங்கள் verified basis-ஐ காட்டலாம். ஆதாரம் மெல்லியதாக இருக்கும்போது, முடிவு Unknown என்று சொல்கிறது, மேலும் உங்கள் fallback நீங்கள் deliberately தேர்ந்தெடுத்த முறையில் அதை கையாள்கிறது.
இந்த அணுகுமுறை வெப்புடன் இணைந்து விரிவடைகிறது. மேலும் agent operators தங்கள் requests-ஐ sign செய்யத் தொடங்குவதாலும், IETF Web Bot Auth working group போன்ற standards work, இது automated clients-க்கான cryptographic authentication-ஐ standardize செய்ய charter செய்யப்பட்டுள்ளது, HTTP message signatures-ஐ அடிப்படையாகக் கொண்டு வளர்வதாலும், உங்கள் traffic-இன் மேலும் அதிகமான பகுதி inferred அல்லது unknown-இலிருந்து verified-க்கு நகர்கிறது, மற்றும் உங்கள் policies மறுபடியும் எழுதப்படாமல் மேலும் துல்லியமாகின்றன.
founding developer program-இல் இணையுங்கள்
Proof of Actor சிறிய application குழுவுடன் private beta-வில் உள்ளது. தேர்ந்தெடுக்கப்பட்ட founding developers-க்கு, ஒப்புக்கொள்ளப்பட்ட usage limits-க்குள், hands-on product feedback-க்கு மாற்றாக 12 months வரை இலவச அணுகல் கிடைக்கலாம். எங்கள் engineers-இருந்து நேரடி integration support, அம்சங்கள் கிடைக்கும் போதெல்லாம் ஆரம்ப அணுகல், மற்றும் அடுத்ததாக நாம் என்ன உருவாக்குகிறோம் என்பதில் உண்மையான செல்வாக்கு கிடைக்கும்.
உங்கள் website மக்கள், AI-assisted users மற்றும் agents-ஐச் சேவையாற்றினால், மேலும் அடுத்து என்ன நடக்கும் என்பதை நீங்கள் தீர்மானிப்பதற்கு முன் யார் அதை பயன்படுத்துகிறார்கள் என்பதை அறிய விரும்பினால், ஆரம்ப அணுகலுக்கு விண்ணப்பிக்கவும். உங்கள் website மற்றும் நீங்கள் மிகவும் புரிந்துகொள்ள விரும்பும் interaction பற்றி எங்களிடம் சொல்லுங்கள், அப்போது அது current beta-க்கு பொருந்துமா என்பதை நாங்கள் மதிப்பாய்வு செய்வோம்.
முதலில் விவரங்களைப் பார்க்க விரும்புகிறீர்களா? Proof of Actor-ஐ ஆராயுங்கள், அது எப்படி செயல்படுகிறது என்பதைப் படியுங்கள், அல்லது ஆதாரம் என்னவற்றை நிறுவ முடியும், என்னவற்றை முடியாது என்பதைத் துல்லியமாக மதிப்பாய்வு செய்யுங்கள்.
மூலங்கள்
- RFC 9421: HTTP Message Signatures, IETF, February 2024.
- Web Bot Auth (webbotauth) working group charter, IETF.
- Overview of OpenAI crawlers, OpenAI.
- Does Anthropic crawl data from the web, and how can site owners block the crawler?, Anthropic.
- Verifying Googlebot and other Google crawlers, Google Search Central.
- How to verify that Bingbot is Bingbot, Bing Webmaster Blog.