ইউজাৰ-এজেণ্ট স্পুফিং কি
প্ৰত্যেক HTTP client এ নিজৰ বিষয়ে বৰ্ণনা কৰা এটা User-Agent header পঠাব পাৰে: browser-ৰ নাম আৰু version, crawler-ৰ নাম, library identifier। এই header self-reported। HTTP-ত ইয়াৰ সত্যতা পৰীক্ষা কৰা কোনো ব্যৱস্থা নাই, সেয়ে যিকোনো client এ যিকোনো মান পঠাব পাৰে। user-agent spoofing হ'ল এনে এটা practice য'ত client-টোকে ভুলকৈ উপস্থাপন কৰা মান পঠোৱা হয়, যেনে:
- এটা automation script এ নিজকে এটা current desktop browser বুলি দেখুওৱা,
- এটা scraper এ favorable treatment পাবলৈ নিজকে এটা well-known search crawler বুলি দাবী কৰা,
- এটা AI agent এ generic browser string ব্যৱহাৰ কৰা যাতে তাক এজন মানুহৰ দৰে গণ্য কৰা হয়।
ইয়াৰ গুৰুত্ব কিয়
অসংখ্য system এতিয়াও user-agent string ৰ ওপৰত নিৰ্ভৰ কৰি সিদ্ধান্ত লয়: known crawlers ক allowlist কৰা, bot-ৰ বাবে বেলেগ content দেখুওৱা, বা analytics ৰ পৰা automation বাদ দিয়া। এই প্ৰতিটো সিদ্ধান্তই header-টোৰ দুর্বলতা কঢ়িয়াই আনে। যদি কোনো policy ত কোৱা হয় "crawler X বুলি দাবী কৰা যিকোনো thing allow কৰক", তেন্তে crawler X-ৰ string কপি কৰা সকলোকে allow কৰা হয়।
AI agent traffic গ্ৰহণ কৰা application-সমূহৰ বাবে, সময়ৰ লগত এই বিষয়টো আৰু বেছি গুৰুত্বপূর্ণ হয়। Agent-সমূহ increasingly real browser বা headless browser framework ৰ ভিতৰত চলে, সেয়েহে সিহঁতৰ user-agent string মানুহৰ browser-ৰ দৰে একেবাৰে একে দেখা যায়। আন কিছুমানে honest ভাবে পৰিচয় দিয়ে। কেৱল header-টোৱে আপোনাক কোনটো কোন তাক ক'ব নোৱাৰে। website traffic AI agent ৰ পৰা আহে নেকি কেনেকৈ চিনাক্ত কৰিব আমাৰ post-ত সেই signal-সমূহ চোৱা হৈছে যিবোৰ অধিক কার্যকৰ।
header-টোৰ চেয়ে ভাল evidence
- Cryptographic signatures. HTTP Message Signatures আৰু Web Bot Auth work-ৰ সৈতে, client এ প্ৰমাণ কৰে যে ই named operator এ প্ৰকাশ কৰা এটা key hold কৰে। কপি কৰা user-agent string এ signature পুনৰ সৃষ্টি কৰিব নোৱাৰে।
- Operator-published verification. কিছুমান crawler operator এ IP range প্ৰকাশ কৰে বা reverse DNS check support কৰে, যাৰ ফলত impersonation header-টোৰ তুলনাত কঠিন হয়। Google এ নিজৰ crawlers ৰ বাবে reverse DNS and IP range check document কৰিছে, Microsoft এ Verify Bingbot tool দিয়ে, আৰু OpenAI publishes IP address files নিজৰ প্ৰতিটো bot ৰ বাবে। Anthropic-ৰ guidance for its hosted browser agent এ স্পষ্টকৈ কয় যে একে User-Agent header যিকোনোৱে পঠাব পাৰে আৰু ইয়াৰ published IP address check কৰিবলৈ পৰামৰ্শ দিয়ে।
- Consistency checks. দাবী কৰা client-টো protocol details আৰু interaction signal-সমূহৰ সৈতে তুলনা কৰিলে দাবীটো খাপ নাখায় কেতিয়া সেয়া দেখা যাব পাৰে, যদিও ইয়াৰ ফল inference হয়, proof নহয়।
- Credentials. API-সমূহৰ বাবে, API key বা token এ header-ত কি লিখা আছে তাৰ পৰা স্বাধীনভাৱে কোন account এ call কৰিছে সেইটো জানিবলৈ দিয়ে।
সাধাৰণ ভুল ধাৰণা
- "browser user-agent মানেই মানুহ।" Headless browser আৰু agent framework-সমূহে নিয়মিতভাৱে browser string পঠায়।
- "crawler user-agent মানেই সেই crawler।" signature বা operator verification check নথকিলে, সেয়া কেৱল এটা দাবী।
- "spoofing সদায় malicious।" কিছুমান legitimate tool এ broken page serve হোৱাৰ পৰা বাচিবলৈ generic string পঠায়। Spoofing হৈছে header-টোক কম বিশ্বাসযোগ্য ধৰা এটা কাৰণ, bad intent-ৰ proof নহয়।
Proof of Actor user-agent string ক কেনেকৈ ধৰে
Proof of Actor এ user-agent দাবীটো declared evidence হিচাপে সংৰক্ষণ কৰে: client এ কোৱা এটা কথা, যিটো সঁচা বা মিছা হ’ব পাৰে। ই নিজে সেই declaration ক কেতিয়াও verified লৈ উন্নীত নকৰে। যি request-ৰ একমাত্ৰ identifying evidence হৈছে crawler user-agent string, তাক সেই অনুযায়ী label কৰা হয়, আৰু evidence অপৰ্যাপ্ত হ’লে ফলাফল Unknown হয়, নিশ্চিত অনুমান নহয়। Route-ত আপোনাৰ policy-সমূহে তেতিয়া verified signed agent আৰু self-declared agent-ক বেলেগ ধৰণে আচৰণ কৰিব পাৰে, উদাহৰণস্বৰূপ দুয়োটাকে read-only route-ত allow কৰা, কিন্তু declared one-ৰ ওপৰত অধিক কঠোৰ limit লগোৱা।
how evidence bases work চাওক বা apply for early access কৰক।
Sources
- RFC 9110: HTTP Semantics, User-Agent: header-টো client এ self-reported কৰে
- Google: Verifying Google's crawlers and fetchers: reverse DNS আৰু published IP range check
- Microsoft Bing: Verify Bingbot tool: কোনো IP address Bingbot-ৰ অন্তৰ্গত নে নহয় পৰীক্ষা কৰা
- OpenAI: Overview of OpenAI Crawlers: user agents আৰু published IP address files
- Anthropic: how Anthropic-hosted browsers identify themselves: User-Agent header কপি কৰিব পৰা যায় বুলি সতৰ্কীকৰণ