User-agent spoofing ਕੀ ਹੈ
ਹਰ HTTP client User-Agent header ਭੇਜ ਸਕਦਾ ਹੈ ਜੋ ਆਪਣੇ ਬਾਰੇ ਦੱਸਦਾ ਹੈ: browser ਦਾ ਨਾਮ ਅਤੇ ਵਰਜਨ, crawler ਦਾ ਨਾਮ, library identifier। ਇਹ header self-reported ਹੁੰਦਾ ਹੈ। HTTP ਵਿੱਚ ਕੁਝ ਵੀ ਇਹ ਨਹੀਂ ਜਾਂਚਦਾ ਕਿ ਇਹ ਸਹੀ ਹੈ, ਇਸ ਲਈ ਕੋਈ ਵੀ client ਕੋਈ ਵੀ value ਭੇਜ ਸਕਦਾ ਹੈ। User-agent spoofing ਉਸ ਅਭਿਆਸ ਨੂੰ ਕਹਿੰਦੇ ਹਨ ਜਿਸ ਵਿੱਚ ਐਸੀ value ਭੇਜੀ ਜਾਂਦੀ ਹੈ ਜੋ client ਨੂੰ ਗਲਤ ਤਰੀਕੇ ਨਾਲ ਦਰਸਾਏ, ਉਦਾਹਰਨ ਵਜੋਂ:
- ਇੱਕ automation script ਆਪਣੇ ਆਪ ਨੂੰ ਮੌਜੂਦਾ desktop browser ਵਜੋਂ ਪੇਸ਼ ਕਰਦੀ ਹੈ,
- ਇੱਕ scraper ਆਪਣੇ ਆਪ ਨੂੰ well-known search crawler ਵਜੋਂ ਦੱਸਦੀ ਹੈ ਤਾਂ ਜੋ ਉਸਨੂੰ ਮਨਪਸੰਦ treatment ਮਿਲੇ,
- ਇੱਕ AI agent generic browser string ਵਰਤਦਾ ਹੈ ਤਾਂ ਕਿ ਉਸਨੂੰ ਇੱਕ ਵਿਅਕਤੀ ਵਾਂਗ treat ਕੀਤਾ ਜਾਵੇ।
ਇਹ ਕਿਉਂ ਮਹੱਤਵਪੂਰਨ ਹੈ
ਕਈ systems ਅਜੇ ਵੀ user-agent string ਦੇ ਆਧਾਰ 'ਤੇ ਫ਼ੈਸਲੇ ਕਰਦੇ ਹਨ: known crawlers ਨੂੰ allowlist ਕਰਨਾ, bots ਲਈ ਵੱਖਰਾ content serve ਕਰਨਾ, ਜਾਂ analytics ਤੋਂ automation ਨੂੰ ਹਟਾਉਣਾ। ਇਨ੍ਹਾਂ ਵਿੱਚੋਂ ਹਰ ਫ਼ੈਸਲਾ header ਦੀ ਕਮਜ਼ੋਰੀ ਨੂੰ ਹੀ inherit ਕਰਦਾ ਹੈ। ਜੇ ਕੋਈ policy ਕਹਿੰਦੀ ਹੈ "allow anything that claims to be crawler X", ਤਾਂ ਉਹ ਹਰ ਉਸ ਨੂੰ allow ਕਰਦੀ ਹੈ ਜੋ crawler X ਦੀ string ਕਾਪੀ ਕਰ ਲੈਂਦਾ ਹੈ।
AI agent traffic ਲੈਣ ਵਾਲੀਆਂ applications ਲਈ, ਸਮੇਂ ਦੇ ਨਾਲ ਇਹ ਹੋਰ ਮਹੱਤਵਪੂਰਨ ਹੋ ਜਾਂਦਾ ਹੈ। Agents increasingly real browsers ਜਾਂ headless browser frameworks ਦੇ ਅੰਦਰ ਚਲਦੇ ਹਨ, ਇਸ ਲਈ ਉਨ੍ਹਾਂ ਦੀਆਂ user-agent strings ਬਿਲਕੁਲ human browsers ਵਰਗੀਆਂ ਦਿਖਦੀਆਂ ਹਨ। ਕੁਝ ਇਮਾਨਦਾਰੀ ਨਾਲ ਆਪਣੀ ਪਛਾਣ ਕਰਦੇ ਹਨ। ਸਿਰਫ਼ header ਤੁਹਾਨੂੰ ਨਹੀਂ ਦੱਸ ਸਕਦਾ ਕਿ ਕਿਹੜਾ ਕੌਣ ਹੈ। ਸਾਡੀ post ਕਿਵੇਂ ਪਤਾ ਲਗਾਇਆ ਜਾਵੇ ਕਿ website traffic AI agents ਤੋਂ ਆ ਰਹੀ ਹੈ ਉਹ signals ਵੇਖਦੀ ਹੈ ਜੋ ਬਿਹਤਰ ਕੰਮ ਕਰਦੇ ਹਨ।
header ਤੋਂ ਵਧੀਆ evidence
- Cryptographic signatures. HTTP Message Signatures ਅਤੇ Web Bot Auth ਦੇ ਕੰਮ ਨਾਲ, client ਇਹ ਸਾਬਤ ਕਰਦਾ ਹੈ ਕਿ ਉਸ ਕੋਲ ਉਸ operator ਦੁਆਰਾ ਪ੍ਰਕਾਸ਼ਿਤ key ਹੈ ਜਿਸਦਾ ਉਹ ਨਾਮ ਲੈਂਦਾ ਹੈ। Copy ਕੀਤਾ ਹੋਇਆ user-agent string signature ਨੂੰ ਦੁਹਰਾ ਨਹੀਂ ਸਕਦਾ।
- Operator-published verification. ਕੁਝ crawler operators IP ranges ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦੇ ਹਨ ਜਾਂ reverse DNS checks support ਕਰਦੇ ਹਨ, ਜੋ impersonation ਨੂੰ header ਇਕੱਲੇ ਨਾਲੋਂ ਔਖਾ ਬਣਾਉਂਦੇ ਹਨ। Google ਆਪਣੇ crawlers ਲਈ ਇੱਕ reverse DNS ਅਤੇ IP range check ਦਸਤਾਵੇਜ਼ ਕਰਦਾ ਹੈ, Microsoft ਇੱਕ Verify Bingbot tool ਦਿੰਦਾ ਹੈ, ਅਤੇ OpenAI ਆਪਣੇ bots ਲਈ IP address files ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦਾ ਹੈ। Anthropic ਦੇ ਆਪਣੇ hosted browser agent ਲਈ guidance ਵਿੱਚ ਸਾਫ਼ ਕਿਹਾ ਗਿਆ ਹੈ ਕਿ ਕੋਈ ਵੀ ਇੱਕੋ ਜਿਹਾ User-Agent header ਭੇਜ ਸਕਦਾ ਹੈ ਅਤੇ ਉਸਦੇ ਪ੍ਰਕਾਸ਼ਿਤ IP addresses ਚੈੱਕ ਕਰਨ ਦੀ ਸਿਫ਼ਾਰਸ਼ ਕੀਤੀ ਗਈ ਹੈ।
- Consistency checks. ਦਾਅਵਾ ਕੀਤੇ client ਦੀ protocol details ਅਤੇ interaction signals ਨਾਲ ਤੁਲਨਾ ਕਰਨ ਨਾਲ ਪਤਾ ਲੱਗ ਸਕਦਾ ਹੈ ਕਿ ਦਾਅਵਾ ਮੇਲ ਨਹੀਂ ਖਾਂਦਾ, ਹਾਲਾਂਕਿ ਇਸ ਨਾਲ inference ਬਣਦੀ ਹੈ, proof ਨਹੀਂ।
- Credentials. APIs ਲਈ, API key ਜਾਂ token ਤੁਹਾਨੂੰ ਦੱਸਦਾ ਹੈ ਕਿ ਕਿਹੜਾ account call ਕਰ ਰਿਹਾ ਹੈ, ਭਾਵੇਂ header ਕੀ ਕਹਿੰਦਾ ਹੋਵੇ।
ਆਮ ਗਲਤਫ਼ਹਿਮੀਆਂ
- "ਇੱਕ browser user-agent ਦਾ ਮਤਲਬ human ਹੈ." Headless browsers ਅਤੇ agent frameworks ਨਿਯਮਤ ਤੌਰ 'ਤੇ browser strings ਭੇਜਦੇ ਹਨ।
- "ਇੱਕ crawler user-agent ਦਾ ਮਤਲਬ ਉਹੀ crawler ਹੈ." Signature ਜਾਂ operator verification check ਤੋਂ ਬਿਨਾਂ, ਇਹ ਸਿਰਫ਼ ਇੱਕ ਦਾਅਵਾ ਹੈ।
- "Spoofing ਹਮੇਸ਼ਾ malicious ਹੁੰਦੀ ਹੈ." ਕੁਝ legitimate tools generic strings ਭੇਜਦੇ ਹਨ ਤਾਂ ਜੋ broken pages serve ਨਾ ਹੋਣ। Spoofing header ਨੂੰ ਘੱਟ weight ਦੇਣ ਦਾ ਕਾਰਨ ਹੈ, ਨਾ ਕਿ bad intent ਦਾ proof।
Proof of Actor user-agent string ਨੂੰ ਕਿਵੇਂ treat ਕਰਦਾ ਹੈ
Proof of Actor ਇੱਕ user-agent claim ਨੂੰ Declared evidence ਵਜੋਂ record ਕਰਦਾ ਹੈ: ਕੁਝ ਐਸਾ ਜੋ client ਨੇ ਕਿਹਾ, ਜੋ ਸੱਚ ਵੀ ਹੋ ਸਕਦਾ ਹੈ ਜਾਂ ਨਹੀਂ ਵੀ। ਇਹ ਆਪਣੇ ਆਪ ਕਿਸੇ declaration ਨੂੰ Verified ਵਿੱਚ upgrade ਨਹੀਂ ਕਰਦਾ। ਜਿਸ request ਲਈ ਇਕੱਲਾ identifying evidence crawler user-agent string ਹੋਵੇ, ਉਸਨੂੰ ਉਸੇ ਅਨੁਸਾਰ label ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਅਤੇ ਜਦੋਂ evidence ਕਾਫ਼ੀ ਨਹੀਂ ਹੁੰਦਾ ਤਾਂ result Unknown ਹੁੰਦਾ ਹੈ, ਨਾ ਕਿ ਇੱਕ confident guess। Route ਵਿੱਚ ਤੁਹਾਡੀਆਂ policies ਫਿਰ ਇੱਕ verified signed agent ਅਤੇ ਇੱਕ self-declared agent ਨੂੰ ਵੱਖਰੇ ਤਰੀਕੇ ਨਾਲ treat ਕਰ ਸਕਦੀਆਂ ਹਨ, ਉਦਾਹਰਨ ਵਜੋਂ ਦੋਵਾਂ ਨੂੰ read-only routes 'ਤੇ allow ਕਰਨਾ ਪਰ declared ਵਾਲੇ ਉੱਤੇ ਹੋਰ ਸਖ਼ਤ limits ਲਗਾਉਣਾ।
ਵੇਖੋ evidence bases ਕਿਵੇਂ ਕੰਮ ਕਰਦੇ ਹਨ ਜਾਂ early access ਲਈ apply ਕਰੋ।
Sources
- RFC 9110: HTTP Semantics, User-Agent: ਇਹ header client ਦੁਆਰਾ self-reported ਹੁੰਦਾ ਹੈ
- Google: Verifying Google's crawlers and fetchers: reverse DNS ਅਤੇ published IP range checks
- Microsoft Bing: Verify Bingbot tool: ਇਹ ਜਾਂਚਣਾ ਕਿ ਕੋਈ IP address Bingbot ਨਾਲ ਸੰਬੰਧਿਤ ਹੈ ਜਾਂ ਨਹੀਂ
- OpenAI: Overview of OpenAI Crawlers: user agents ਅਤੇ published IP address files
- Anthropic: how Anthropic-hosted browsers identify themselves: ਚੇਤਾਵਨੀ ਕਿ User-Agent header ਕਾਪੀ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ