ఇప్పుడు మీ వెబ్సైట్కు ఒకటి కంటే ఎక్కువ రకాల సందర్శకులు ఉన్నారు
వెబ్ చరిత్రలో ఎక్కువ భాగం కోసం, ఒక వెబ్సైట్ ఒక సులభమైన నమూనాను అనుకోవచ్చు: ఒక వ్యక్తి browser తెరుస్తాడు, చుట్టూ click చేస్తాడు, మరియు అవసరమైతే sign in అవుతాడు. Analytics, rate limits, onboarding flows మరియు security checks అన్నీ ఆ వ్యక్తిని దృష్టిలో పెట్టుకుని రూపొందించబడ్డాయి.
ఇప్పుడు ఆ నమూనా నిజమైన traffic ను వివరించడం లేదు. ఈరోజు ఒకే వెబ్సైట్, తనంతట తాను browsing చేసే మనుషులు, తమ తరపున ఏదైనా summarize చేయమని లేదా నింపమని AI assistant ను అడిగే మనుషులు, మరొకరి తరపున pages చదివి endpoints ను call చేసే autonomous agents, మరియు crawlers మరియు scripts యొక్క పొడవైన tail ను సేవ చేస్తోంది. AI providers ఈ సందర్శకులలో అనేక మందిని తామే document చేస్తారు: ఉదాహరణకు OpenAI తన search crawler, training crawler, మరియు ChatGPT user ఒక ప్రశ్న అడిగినప్పుడు pages ను visit చేసే fetcher కోసం వేర్వేరు user agents ను publish చేస్తుంది (OpenAI crawler documentation), అలాగే Anthropic కూడా ClaudeBot, Claude-User మరియు Claude-SearchBot కోసం అదే చేస్తుంది (Anthropic crawler documentation). ఈ సందర్శకులలో కొందరు స్వాగతించదగినవారు. కొందరికి వేరే experience అవసరం. కొందరు ఏదైనా sensitive చర్య చేయడానికి ముందు మరింత దగ్గరగా పరిశీలించాల్సి ఉంటుంది.
సమస్య ఏమిటంటే, ఈ interactions చాలా వరకు మొదటి చూపులో ఒకేలా కనిపిస్తాయి. ఒక login ఏ account వాడబడుతోందో చెబుతుంది. ఒక వ్యక్తి click చేస్తున్నాడా, session ద్వారా ఒక assistant పనిచేస్తోందా, లేదా ఒక automated client మరెక్కడో ఉన్న user కోసం మీ pricing page ను చదువుతోందా అన్నది అది చెప్పదు. వెబ్సైట్ల కోసం AI agent detection అంటే ఆ gap ను evidence తో మూసేయడం, తద్వారా మీ బృందం అన్ని traffic ను ఒకేలా చూడకుండా ప్రతి actor రకానికి తగినట్లు స్పందించగలుగుతుంది. పాల్గొనే signals యొక్క practical walkthrough కోసం వెబ్సైట్ traffic AI agents నుండి వస్తుందా ఎలా తెలుసుకోవాలి ను చదవండి, మరియు production site లో ఇది ఎలా కనిపిస్తుందో చూడడానికి websites use case ను చూడండి.
ఒకే bot score ఎందుకు సరిపోదు
చాలా tools ఈ ప్రశ్నకు ఒకే సంఖ్యతో సమాధానం ఇస్తాయి: bot score, risk score, ఒక visitor ఎంత human లా ఉన్నాడో చెబుతుందని claim చేసే percentage. దీని ఆకర్షణ స్పష్టమే. ఒక సంఖ్యను rule లో పెట్టడం సులభం.
సమస్య ఏమిటంటే, ఒకే సంఖ్య reasoning ను దాచేస్తుంది. ఒక score session automated అయ్యే అవకాశం ఉందని చెబితే, ఆ conclusion ఒక verified signature పై ఆధారపడిందా, ఎవరికైనా copy చేయగల user-agent string పై ఆధారపడిందా, లేదా వేగంగా type చేసే human తో కూడా సరిపోయే pattern పై ఆధారపడిందా అన్నది మీ బృందం చూడలేడు. ఆ score block లేదా challenge కు drive చేస్తే, దాన్ని customer కు, colleague కు లేదా auditor కు వివరించడానికి మార్గం లేకుండా అది చేసే ప్రతి తప్పును మీరు స్వీకరిస్తారు.
Proof of Actor వేరే విధానాన్ని తీసుకుంటుంది. ప్రతి ఫలితం నాలుగు స్పష్టమైన classes లో ఒకటి, Human, AI-assisted లేదా agent: app traffic కోసం ఒక taxonomy లో వివరించినట్లు, మరియు ప్రతి ఫలితం అది ఏ ఆధారంపై ఉందో చెబుతుంది. మీరు conclusion మరియు evidence ను కలిసి చూస్తారు, అంటే మీరు బలమైన ఫలితాలను నమ్మవచ్చు, బలహీనమైనవాటిని ప్రశ్నించవచ్చు, మరియు evidence నాణ్యతకు సరిపోయే policies ను నిర్మించవచ్చు.
మీ వెబ్సైట్లో AI agents ను నాలుగు దశల్లో ఎలా గుర్తించాలి
మీ వద్ద ఇప్పటికే ఉన్న tools తోనే మీరు మీ వెబ్సైట్లో AI agents ను గుర్తించడం ప్రారంభించవచ్చు. ఈ నాలుగు దశలు vendor-neutral గా ఉంటాయి మరియు మీరు Proof of Actor వాడుతున్నా లేకపోయినా పనిచేస్తాయి; వెబ్సైట్ traffic AI agents నుండి వస్తుందా ఎలా తెలుసుకోవాలి అనే blog post ప్రతి దశను మరింత లోతుగా వివరిస్తుంది.
- తమను తాము ప్రకటించే agents ను జాబితా చేయండి. మీ server లేదా CDN logs లో AI providers publish చేసే user agents కోసం చూడండి. OpenAI OAI-SearchBot, GPTBot మరియు ChatGPT-User ను document చేస్తుంది, మరియు ChatGPT-User ఒక user ChatGPT కి ప్రశ్న అడిగినప్పుడు pages ను visit చేస్తుందని, automatic గా crawl చేయదని చెబుతుంది. Anthropic ClaudeBot, Claude-User మరియు Claude-SearchBot ను document చేస్తుంది. ఇది route వారీగా agent traffic కు మొదటి, declared దృశ్యాన్ని ఇస్తుంది.
- string ను నమ్మకుండా claims ను verify చేయండి. User agent self-reported అవుతుంది మరియు copy చేయడం సులభం. Operator యొక్క own verification method తో దాన్ని check చేయండి: Google, Googlebot కోసం reverse DNS lookup తర్వాత forward DNS lookup, అలాగే published IP range files ను describe చేస్తుంది (Google: verifying Googlebot); Bing, Bingbot కోసం అదే reverse మరియు forward DNS check ను describe చేస్తుంది (Bing: verifying Bingbot); OpenAI తన ప్రతి user agent కోసం IP range files ను publish చేస్తుంది. ఒక client తన requests ను HTTP Message Signatures తో sign చేస్తే, ఇవి RFC 9421 లో నిర్వచించబడ్డాయి, signature ను operator యొక్క published key తో check చేయండి.
- ప్రతి ఫలితాన్ని దాని evidence తో label చేయండి, మరియు Unknown ను అలాగే ఉంచండి. ప్రతి conclusion verified, declared లేదా inferred లో ఏదో ఒకటి అని record చేయండి. ఏ verified లేదా declared agent కు match కాని, మరియు స్పష్టమైన human pattern చూపని traffic ను human లేదా bot గా బలవంతంగా మార్చకుండా Unknown గా label చేయాలి. ఉపయోగకరమైన report మరియు ఊహాగానానికి మధ్య తేడాను ఏర్పరచే దశ ఇదే.
- చర్యకు ముందు route వారీగా observe చేయండి. కొన్ని వారాల పాటు results ను route మరియు workflow ప్రకారం విభజించండి: public content, signup, account settings, APIs. ఆ తర్వాత మాత్రమే actor context అత్యంత ముఖ్యమైన route కోసం narrow policy రాయండి, Unknown కోసం స్పష్టమైన fallback తో.
Proof of Actor ఈ దశలను మీ application లోనే automate చేస్తుంది: అది మీ integration చూడగలిగే signals ను సేకరిస్తుంది, దాని ఆధారంతో class ను తిరిగి ఇస్తుంది, route వారీగా Unknown ను track చేస్తుంది, మరియు policy ను మీ code కు వదిలేస్తుంది.
Proof of Actor వెబ్సైట్లలో AI agents ను ఎలా గుర్తిస్తుంది
Proof of Actor ఒక సరళమైన మార్గం చుట్టూ నిర్మించబడింది: మీ integration observe చేయగల signals, స్పష్టమైన basis తో కూడిన classification, మరియు మీ చేతుల్లోనే ఉండే decision. మీరు పూర్తి flow ను How It Works పేజీలో చదవవచ్చు. ఇక్కడ సంక్షిప్త రూపం.
మీ ఇంటిగ్రేషన్ నుండి signals
ప్రతి integration తన context అనుమతించే దానిని చూస్తుంది. ఒక server-side integration request context, protocol details, మరియు client support చేస్తే request signature ను చూస్తుంది. ఒక browser integration అది నడిచే pages పై interaction signals ను చూస్తుంది. ఒక application కూడా తన own declarations ను record చేయగలదు, ఉదాహరణకు ఒక user content ను AI assistance తో drafted గా గుర్తించడం, లేదా ఒక agent client తనను తాను పేరు పెట్టుకోవడం.
Proof of Actor నిజంగా present ఉన్న evidence తో పని చేస్తుంది. మీ website observe చేయలేని విషయాలను అది చూసినట్టు pretend చేయదు.
నిర్దిష్ట అర్థం ఉన్న నాలుగు classes
ప్రతి interaction నాలుగు classes లో ఒకటిలోకి వెళుతుంది:
- Human: గమనించగల signals మనిషి-నిర్దేశిత interaction ను సూచిస్తాయి.
- Human + AI: AI సహాయం ప్రకటించబడింది, లేదా అది చూడగలిగే supported integration ద్వారా గమనించబడింది.
- Agent: automated లేదా agent-origin interaction, verifiable identity లేదా జాగ్రత్తగా qualified inference ద్వారా supported.
- Unknown: అందుబాటులో ఉన్న evidence నమ్మదగిన నిర్ణయాన్ని support చేయదు.
ప్రతి class కు స్పష్టమైన నిర్వచనం మరియు స్పష్టమైన పరిమితి ఉంటుంది. Human result verified identity కాదు. Agent result ఆ agent authorized అని చెప్పదు. Unknown result ఆరోపణ కాదు. పూర్తి taxonomy ను Detection & Limitations పేజీలో చదవవచ్చు.
ప్రతి ఫలితంపై ఒక basis
Class తో పాటు, ప్రతి ఫలితం తన basis ను కలిగి ఉంటుంది: verified, declared, inferred లేదా unknown. ప్రచురించబడిన key నుండి చెల్లుబాటు అయ్యే signature ను కలిగిన request ఆ check కోసం verified అవుతుంది. తాను agent అని పేరు పెట్టుకునే client దాన్ని declared చేసింది. automation కు సరిపోయే behavior pattern ఒక inference అవుతుంది. ఈ తేడానే మీ policies ను precise గా ఉండేలా చేస్తుంది. read-only route పై ఒక verified signed agent మరియు account settings page పై ఒక self-declared client ను ఒకేలా handle చేయకూడదు, మరియు Proof of Actor తో అవి ఒకేలా handle చేయాల్సిన అవసరం లేదు. evidence basis glossary entry ప్రతి దానిని మరింత వివరంగా వివరిస్తుంది.
మీ బృందానికి ఏమి లభిస్తుంది: Detect, Understand, Route
Proof of Actor అనేది కలిసి పని చేసే మూడు capabilities కలిగిన ఒకే product.
Detect
మీ integration కు అందుబాటులో ఉన్న actor signals ను సేకరించి, verified assertions ను behavioral inferences నుండి వేరు చేయండి. Unknown traffic ఊహాగానంలో కలిసిపోకుండా తన స్వంత category గా కనిపిస్తూనే ఉంటుంది. మీరు confidence తో ఏ interactions గురించి మాట్లాడవచ్చో, మరియు ఏవాటికి మరిన్ని evidence అవసరమో ఎప్పుడూ తెలుసుకుంటారు.
Understand
మీ AI agent traffic ను context లో చూడండి. route మరియు time వారీగా interaction types ను explore చేయండి, human, AI-assisted, agent మరియు unknown activity లో trends ను అనుసరించండి, మరియు ఏదైనా classification ను తెరిచి ఏమి తెలుసు, ఏమి తెలియదు, మరియు result దేనిపై ఆధారపడిందో చూడండి. product, platform మరియు security బృందాలకు website ను ఎవరు ఉపయోగిస్తున్నారో అనే ఒక shared, explainable picture ఇక్కడ లభిస్తుంది.
Route
నిర్దిష్ట interactions ను allow చేయడానికి, adapt చేయడానికి, challenge చేయడానికి, review చేయడానికి లేదా limit చేయడానికి మీ own policies ను ఉపయోగించండి. మీ documentation చదువుతున్న verified agent కు structured response అందించండి. human-directed sessions కోసం standard experience ను కొనసాగించండి. మీ own conditions అవసరమైనప్పుడు sensitive account change పై stronger check కోరండి. Unknown results మరియు timeouts కోసం, route వారీగా explicit fallback ను ఎంచుకోండి. Enforcement ఎల్లప్పుడూ మీ application లోనే, మీ బృందం confirm చేసిన policies కింద జరుగుతుంది.
మీ వెబ్సైట్కు సరిపోయేలా రూపొందించబడింది, దానిని భర్తీ చేయడానికి కాదు
Proof of Actor మీరు ఇప్పటికే నడుపుతున్న tools పక్కనే పనిచేస్తుంది. ఇది మీ authentication ను, మీ authorization model ను లేదా మీ existing abuse controls ను భర్తీ చేయదు. ఇది వాటికి actor context ను జోడిస్తుంది.
సాధారణ website integration actor context అత్యంత ముఖ్యమైన routes తో ప్రారంభమవుతుంది: agents ఎక్కువగా చదివే public content, signup మరియు onboarding flows, account settings మరియు ఇతర sensitive actions, అలాగే site ను శక్తివంతం చేసే ఏ API అయినా. Founding teams మా engineers తో కలిసి ఆ routes ను ఎంచుకుంటారు, scope లో ఉన్న signals పై అంగీకరిస్తారు, మరియు ఏ code ship కాకముందు data ఎలా handle చేయాలో confirm చేస్తారు.
Decision layer మీ code లో ఉండటం వల్ల, experience పై నియంత్రణ మీ వద్దనే ఉంటుంది. మీరు weeks పాటు internal dashboard లో ఫలితాలను చూపించి, ఏ rule changes లేకుండా చూడవచ్చు, ఆపై ఒక route కోసం ఒక narrow policy ను మాత్రమే turn on చేసి, ఫలితాలు మీ trust ను పొందిన తర్వాత విస్తరించవచ్చు. unknown traffic ను handle చేయడం గైడ్ ఆ మొదటి rules ను ఎలా design చేయాలో వివరిస్తుంది.
observation mode లో ప్రారంభించండి
AI agent detection నుండి value పొందడానికి వేగవంతమైన మార్గం block చేయకుండా observe చేయడం. observation mode లో, Proof of Actor మీ website అది లేకపోయినా ఎలా స్పందిస్తుందో అదే విధంగా స్పందిస్తున్నప్పుడు results ను record చేస్తుంది. ఆ తర్వాత మీ బృందం ఇప్పటికే అర్థమయ్యే outcomes తో classifications ను పోల్చవచ్చు: support tickets, known integrations, internal tools, మరియు మీరు ఇప్పటికే గుర్తించే crawlers.
ఏ enforcement కి ముందే ఇది మీకు మూడు విషయాలను ఇస్తుంది:
- ఒక baseline. మీ traffic లో ఎంత భాగం human-directed, AI-assisted, agent-driven లేదా unknown, route వారీగా.
- Evidence పై confidence. మీ website లో ఏ signals బలంగా ఉన్నాయి, మరియు coverage ఎక్కడ పెరగాలి.
- మంచి policies. నిజమైన patterns ఆధారంగా రూపొందించిన rules, మరియు false positives ఎవరైనా ప్రభావితమయ్యే ముందు సమీక్షించబడినవి.
ఒక policy సిద్ధమైనప్పుడు, దాన్ని అది రూపొందించబడిన నిర్దిష్ట workflow కోసం enable చేస్తారు, మరియు ఎప్పుడైనా దాన్ని adjust చేసే సామర్థ్యం మీ వద్దనే ఉంటుంది.
opaque scores కంటే evidence-backed detection ఎందుకు మెరుగ్గా పనిచేస్తుంది
వెబ్సైట్లు ఇప్పటికే agents, assistants మరియు AIతో పని చేసే మనుషులను పక్కపక్కనే సేవ చేస్తున్నాయి. ఈ పరిస్థితిని బాగా నిర్వహించే బృందాలు అత్యంత aggressive filters ఉన్నవారు కాదు. వారు తమ నిర్ణయాలను వివరించగలిగినవారు.
Evidence-backed results ఆ explanation ను మీకు ఇస్తాయి. ఒక support agent, ఒక user కు అదనపు verification step ఎందుకు కనిపించిందో అడిగితే, మీరు evidence మరియు దానికి వర్తించిన policy ను చూపించవచ్చు. ఒక agent operator, తన signed requests కు structured response ఎందుకు అందించబడిందో అడిగితే, మీరు verified basis ను చూపించవచ్చు. Evidence తక్కువగా ఉన్నప్పుడు, result Unknown అని చెబుతుంది, మరియు మీ fallback మీరు ఉద్దేశపూర్వకంగా ఎంచుకున్న విధంగా దాన్ని handle చేస్తుంది.
ఈ విధానం web తో పాటు విస్తరిస్తుంది. మరింత మంది agent operators తమ requests ను sign చేయడం ప్రారంభించినప్పుడు, మరియు IETF Web Bot Auth working group వంటి standards work, ఇది automated clients కోసం cryptographic authentication ను standardize చేయడానికి charter చేయబడింది, HTTP message signatures పై ఆధారపడినప్పుడు, మీ traffic లో మరింత భాగం inferred లేదా unknown నుండి verified కు మారుతుంది, మరియు మీ policies మళ్లీ రాయాల్సిన అవసరం లేకుండా మరింత precise అవుతాయి.
founding developer program లో చేరండి
Proof of Actor చిన్న application బృందాల సమూహంతో private beta లో ఉంది. ఎంపికైన founding developers, hands-on product feedback కు ప్రతిగా, agreed usage limits లో up to 12 months వరకు free access పొందవచ్చు. మా engineers నుండి direct integration support, capabilities అందుబాటులోకి వచ్చిన వెంటనే early access, మరియు మేము తర్వాత ఏమి నిర్మిస్తామో దానిపై నిజమైన ప్రభావం మీకు లభిస్తుంది.
మీ website మనుషులు, AI-assisted users మరియు agents కు సేవ చేస్తే, మరియు తర్వాత ఏమి జరుగాలో నిర్ణయించుకునే ముందు ఎవరు దాన్ని ఉపయోగిస్తున్నారో తెలుసుకోవాలనుకుంటే, early access కోసం apply చేయండి. మీ website గురించి మరియు మీరు అత్యంతగా అర్థం చేసుకోవాలనుకునే interaction గురించి మాకు చెప్పండి, మరియు ప్రస్తుత beta కి అది సరిపోతుందో మేము సమీక్షిస్తాము.
ముందుగా వివరాలు చూడాలనుకుంటున్నారా? Proof of Actor ను అన్వేషించండి, how it works ను చదవండి, లేదా evidence ఏం స్థాపించగలదో మరియు ఏం స్థాపించలేదో ఖచ్చితంగా సమీక్షించండి.
మూలాలు
- RFC 9421: HTTP Message Signatures, IETF, February 2024.
- Web Bot Auth (webbotauth) working group charter, IETF.
- Overview of OpenAI crawlers, OpenAI.
- Does Anthropic crawl data from the web, and how can site owners block the crawler?, Anthropic.
- Verifying Googlebot and other Google crawlers, Google Search Central.
- How to verify that Bingbot is Bingbot, Bing Webmaster Blog.