କେହି ନାମ ଦେଇପାରୁନଥିବା traffic
ଏକ application ର log କୁ ଧ୍ୟାନଦେଇ ଦେଖିଲେ ଆପଣ ଏମିତି request ଦେଖିବେ ଯାହା ବ୍ୟାଖ୍ୟାକୁ ପ୍ରତିରୋଧ କରେ। ସେଗୁଡ଼ିକ browser context ବିନା client ଠାରୁ ଆସେ। ସେମାନଙ୍କର user-agent string ସାଧାରଣ, ଖାଲି କିମ୍ବା ଲୋକପ୍ରିୟ browser ରୁ copied ହୋଇଥାଏ। ସେମାନେ ନିଜ request ସହି କରନ୍ତି ନାହିଁ। କିଏ ପଠାଇଛି ବୋଲି କୁହନ୍ତି ନାହିଁ। କିଛି harmless script ହୋଇଥାଏ। କିଛି real user ପାଇଁ କାମ କରୁଥିବା agent ହୋଇଥାଏ। କିଛି tool ଯାହାକୁ ଆପଣ ସର୍ବଥା ସେବା ଦେଇବାକୁ ଚାହାନ୍ତି ନାହିଁ।
ଏହା ଅଜଣା ସ୍ୱୟଂଚାଳିତ traffic ଅଟେ, ଏବଂ ଅଧିକାଂଶ team ଏହାକୁ ଦୁଇଟି ଉପାୟରେ ହାତଲ କରେ। ଅଥବା ଏହାକୁ ନିରବତାରେ human ଭାବେ count କରାଯାଏ, ଯାହା analytics କୁ ବିକୃତ କରେ ଏବଂ ଝୁମକିପୂର୍ଣ୍ଣ activity କୁ ଛାଡ଼ିଦିଏ, କିମ୍ବା default ଭାବେ hostile ଭାବରେ ବ୍ୟବହାର କରାଯାଏ, ଯାହା legitimate user ଏବଂ agent ମାନଙ୍କୁ ସହିତ ସବୁକିଛି block କରିଦିଏ। ଉଭୟ ପଦ୍ଧତିର ସମାନ ତ୍ରୁଟି ଅଛି: ସେମାନେ missing evidence କୁ ଏକ assumption ସହ ପରିବର୍ତ୍ତନ କରନ୍ତି।
Proof of Actor ବିପରୀତ ଦୃଷ୍ଟିକୋଣ ନିଏ। ଯଦି evidence ଏକ ଭରସାଯୋଗ୍ୟ determination କୁ ସମର୍ଥନ କରେ ନାହିଁ, ତେବେ ସଠିକ୍ ଉତ୍ତର ହେଉଛି Unknown, ଏବଂ Unknown ଦୃଶ୍ୟମାନ, ମାପନୀୟ ଏବଂ ଉଦ୍ଦେଶ୍ୟପୂର୍ବକ ହାତଲ ହେବା ଉଚିତ। blog post why Unknown is a valid result for AI traffic ସମ୍ପୂର୍ଣ୍ଣ ମାମଲାକୁ ବ୍ୟାଖ୍ୟା କରେ।
Unknown କାହିଁକି ଏକ first-class result
Proof of Actor ପ୍ରତ୍ୟେକ interaction କୁ ଚାରିଟି class ମଧ୍ୟରୁ ଗୋଟିଏରେ ବର୍ଗୀକୃତ କରେ: Human, Human + AI, Agent କିମ୍ବା Unknown। Unknown କୌଣସି error state କିମ୍ବା product ଭିତରେ ଥିବା ଅଭାବ ନୁହେଁ। ଏହା ଏକ ସଠିକ୍ meaning ସହିତ ସଚେତନ result: ଉପଲବ୍ଧ evidence ଏକ ଭରସାଯୋଗ୍ୟ determination କୁ ସମର୍ଥନ କରୁନାହିଁ।
ସେହି ସତ୍ୟତାର ପ୍ରାୟୋଗିକ ଲାଭ ଅଛି।
- ଆପଣଙ୍କ analytics ସଠିକ୍ ରହେ। Human ଏବଂ Agent count କେବଳ ସମର୍ଥକ evidence ଥିବା interaction କୁ ଅନ୍ତର୍ଭୁକ୍ତ କରେ, ତେଣୁ ସେମାନେ ଯାହା କହନ୍ତି ତାହାର ଅର୍ଥ ସେଇଥିରେ ହୁଏ।
- ଆପଣଙ୍କ coverage ମାପିପାରିବା ଯୋଗ୍ୟ। ପ୍ରତ୍ୟେକ route ରେ Unknown ର ଅଂଶ ଆପଣଙ୍କୁ ସ୍ପଷ୍ଟ କରେ କେଉଁଠି ଆପଣଙ୍କୁ ଅଧିକ evidence ଆବଶ୍ୟକ।
- ଆପଣଙ୍କ policy ଅଧିକ ସୁରକ୍ଷିତ। ଅନିଶ୍ଚିତ case ଗୁଡ଼ିକ ଆପଣ ବାଛିଥିବା fallback ରେ flow କରେ, ଗୋପନୀୟ ଭାବରେ trusted କିମ୍ବା guessed ଭାବରେ block ହୋଇ ନୁହେଁ।
Unknown କେବେ Human କୁ convert କରାଯାଏ ନାହିଁ, ଏବଂ default ଭାବେ କେବେ ମଧ୍ୟ malicious ଭାବେ ବ୍ୟବହାର କରାଯାଏ ନାହିଁ। ଆପଣ Unknown classification glossary entry, Detection & Limitations, ଏବଂ why Unknown is a valid result for AI traffic ରେ ଅଧିକ ପଢ଼ିପାରିବେ। websites ଏବଂ APIs use case ମାନେ କିପରି team ମାନେ ଅଭ୍ୟାସରେ Unknown fallback ସେଟ୍ କରନ୍ତି ତାହା ଦେଖାଏ।
ଅଜଣା ସ୍ୱୟଂଚାଳିତ traffic କେଉଁଠାରୁ ଆସେ
ଉତ୍ସଗୁଡ଼ିକ ବୁଝିଲେ ଆପଣ ଏହାକୁ କିପରି ହାତଲ କରିବେ ତାହା ନିଷ୍ପତ୍ତି କରିବାରେ ସାହାଯ୍ୟ ମିଳେ।
ସହିବିହୀନ automated client
RFC 9421 ରେ ନିର୍ଦ୍ଦିଷ୍ଟ HTTP Message Signatures ସହ request signing ବୈକଳ୍ପିକ, ଏବଂ IETF Web Bot Auth working group ଏପର୍ଯ୍ୟନ୍ତ automated client ମାନେ କିପରି ଏହି ଉପାୟରେ authenticate କରିବେ ତାହା standardize କରୁଛି। signature ନଥିଲେ, client ର identity ସେ ନିଜ ବିଷୟରେ ଯାହା କହିବାକୁ ବାଛେ ତାହା ଉପରେ ନିର୍ଭର କରେ।
copied କିମ୍ବା generic user agent
User-agent string ସେଟ୍ କରିବା ବହୁତ ସହଜ। ଜଣେ well-known browser କିମ୍ବା crawler ହେବାର ଦାବି କରୁଥିବା client ପ୍ରକୃତରେ ସେଇ ହୋଇପାରେ, କିମ୍ବା ତାହାକୁ ଅନୁକରଣ କରୁଥିବା ହୋଇପାରେ। user-agent spoofing entry ବ୍ୟାଖ୍ୟା କରେ କାହିଁକି ଏହି header ମାତ୍ର classification ବହନ କରିପାରେ ନାହିଁ। ସେଥିପାଇଁ search engine ମାନେ ଅଲଗା verification method ଡକ୍ୟୁମେଣ୍ଟ କରନ୍ତି: Google verifying Googlebot ପାଇଁ reverse ଏବଂ forward DNS lookup ସହ published IP range ବର୍ଣ୍ଣନା କରେ, ଏବଂ Bing verifying Bingbot ପାଇଁ ସମାନ DNS check ବର୍ଣ୍ଣନା କରେ।
integration ନଥିବା route
ଯଦି କୌଣସି route ରେ browser integration ନାହିଁ ଏବଂ basic ବ୍ୟତୀତ କୌଣସି server-side context ନାହିଁ, ତେବେ observe କରିବାକୁ ସହଜରେ କମ୍ ଥାଏ। ସେହି route ମାନେର Unknown threat ର ସଙ୍କେତ ନୁହେଁ, coverage ର ସଙ୍କେତ।
ଅନୁପସ୍ଥିତ କିମ୍ବା ବିଳମ୍ବିତ evidence
Timeout, blocked script କିମ୍ବା incomplete request ଏକ result କୁ ପର୍ଯ୍ୟାପ୍ତ evidence ବିନା ଛାଡ଼ିଦେଇପାରେ। Proof of Actor ସେହିଥିରେ ସତ୍ୟନିଷ୍ଠାର ସହ report କରେ, gap କୁ ପୂରଣ କରେ ନାହିଁ।
Proof of Actor କିପରି Unknown କୁ ପରିଚାଳନାଯୋଗ୍ୟ କରେ
Proof of Actor ନିଜ କାମକୁ ତିନୋଟି capability ରେ ବିନ୍ୟାସ କରେ। ପ୍ରତ୍ୟେକଟି ଅଜଣା ସ୍ୱୟଂଚାଳିତ traffic ସହ ସାହାଯ୍ୟ କରେ।
Detect: Unknown କୁ ପୃଥକ ରଖନ୍ତୁ
Signal ଗୁଡ଼ିକୁ checked କରାଯାଏ ଏବଂ basis ଅନୁସାରେ label ଦିଆଯାଏ: verified, declared, inferred କିମ୍ବା unknown। ଯେତେବେଳେ ସେଗୁଡ଼ିକ determination କୁ ସମର୍ଥନ କରେ ନାହିଁ, result ହେଉଛି Unknown ସହ କଣ ଉପଲବ୍ଧ ଥିଲା ଏବଂ କଣ ନଥିଲା ତାହାର summary। କିଛିକୁ ଅନ୍ୟ କୌଣସି class ରେ guess କରାଯାଏ ନାହିଁ।
Understand: Unknown କେଉଁଠି ଅଛି ଦେଖନ୍ତୁ
Understand view ପ୍ରତ୍ୟେକ breakdown ରେ, route ଅନୁସାରେ ଏବଂ ସମୟ ସହିତ Unknown ଦେଖାଏ। କେଉଁ route ରେ ସର୍ବାଧିକ unknown activity ଅଛି, ଆପଣ integration ଯୋଡ଼ିବା ପରେ ଏହା କିପରି ବଦଳେ, ଏବଂ individual interaction ପାଇଁ କେଉଁ evidence ଉପସ୍ଥିତ ଥିଲା ତାହା ଆପଣ ଦେଖିପାରିବେ। ଏହା ଏକ ଅସ୍ପଷ୍ଟ ଚିନ୍ତାକୁ ଏକ ସ୍ପଷ୍ଟ ମାନଚିତ୍ରରେ ପରିଣତ କରେ।
Route: route ଅନୁସାରେ fallback ବାଛନ୍ତୁ
ଭିନ୍ନ route ଭିନ୍ନ fallback ଯୋଗ୍ୟ। ଅନେକ application ପାଇଁ ଏକ ଯୁକ୍ତିଯୋଗ୍ୟ ଆରମ୍ଭ:
- Public page ଏବଂ documentation: ଆପଣଙ୍କ standard rate limit ସହ Unknown କୁ allow କରନ୍ତୁ।
- Signup ଏବଂ onboarding: ଆପଣଙ୍କ ପାଖରେ ଥିବା checks ରଖନ୍ତୁ, ଏବଂ ନିଜ ଶର୍ତ୍ତ ଆବଶ୍ୟକ କଲେ ମାତ୍ର review ଯୋଡ଼ନ୍ତୁ।
- Account change ଏବଂ ଅନ୍ୟ sensitive action: ଆପଣଙ୍କ existing authentication ଏବଂ step-up control ଉପରେ ଭରସା କରନ୍ତୁ, କେବେ ମଧ୍ୟ actor guess ଉପରେ ନୁହେଁ।
- ଉଚ୍ଚ ପ୍ରଭାବଶାଳୀ API operation: ଆପଣଙ୍କ API ଯେଉଁ stronger credential କିମ୍ବା control ସମର୍ଥନ କରେ, ସେଗୁଡ଼ିକ ଆବଶ୍ୟକ କରନ୍ତୁ।
handling unknown traffic ଉପରେ guide ପ୍ରତ୍ୟେକ risk tier ପାଇଁ fail-open ଏବଂ fail-closed ଚୟନ ସହିତ ଏହି fallback ଡିଜାଇନ କେମିତି କରିବେ ତାହା ଦେଖାଏ।
ସମୟ ସହ Unknown କୁ କମାଇବା
ଲକ୍ଷ୍ୟ ହେଉଛି Unknown କୁ ଏକ ରାତିରେ ଅପସାରଣ କରିଦେବା ନୁହେଁ। ଏହାକୁ ପ୍ରତିମାସ ଛୋଟ କରିବା, ଏବଂ ସଠିକ୍ କାରଣ ପାଇଁ।
- ଗୁରୁତ୍ୱପୂର୍ଣ୍ଣ ସ୍ଥାନରେ integration ଯୋଡ଼ନ୍ତୁ। key page ରେ browser integration ଏବଂ key route ରେ server-side integration ଉପଲବ୍ଧ evidence ବଢ଼ାଏ।
- signed request ସମର୍ଥନ କରନ୍ତୁ। agent operator ମାନେ HTTP message signatures ଗ୍ରହଣ କରିବା ସହ, ପୂର୍ବରୁ Unknown ଥିବା traffic verified Agent traffic ହୋଇଯାଏ।
- ଆପଣଙ୍କ ନିଜ app ରେ declaration ରେକର୍ଡ କରନ୍ତୁ। ଯେତେବେଳେ ଆପଣଙ୍କ application AI assistance ଜଡିତ ଅଛି ବୋଲି ଜାଣେ, ସେଥିକି କହନ୍ତୁ। ସେହି evidence ସଠିକ୍ ଏବଂ ସସ୍ତା।
- agent ପାଇଁ ଏକ front door ଦିଅନ୍ତୁ। agent ମାନେ ପାଇଁ structured path ପ୍ରକାଶ କରିବା ସେମାନଙ୍କୁ blend in କରିବା ପରିବର୍ତ୍ତେ ନିଜକୁ ପରିଚୟ କରିବାକୁ ଉତ୍ସାହିତ କରେ।
Proof of Actor route ଅନୁସାରେ Unknown track କରୁଥିବାରୁ, ଆପଣ ସଂଖ୍ୟାରେ ଏହି ପ୍ରତ୍ୟେକ ପରିବର୍ତ୍ତନକୁ ଦେଖିପାରିବେ।
ଏହା କିପରି କାମ କରେ
ପ୍ରତ୍ୟେକ interaction ସମାନ evidence-first path ଅନୁସରଣ କରେ, How It Works ରେ ସମ୍ପୂର୍ଣ୍ଣ ବର୍ଣ୍ଣିତ: ଆପଣଙ୍କ application ଏକ request କିମ୍ବା event ଗ୍ରହଣ କରେ, integration ସେ context ରେ ଉପଲବ୍ଧ signal ସଂଗ୍ରହ କରେ, signal ଗୁଡ଼ିକ normalize ଏବଂ explicit basis ସହ classify କରାଯାଏ, result analytics ପାଇଁ record କରାଯାଏ, ଏବଂ ଆପଣଙ୍କ application ନିଜ policy ଲାଗୁ କରେ କିମ୍ବା ସରଳଭାବେ observe କରେ।
Timeout ଏବଂ missing telemetry ସ୍ପଷ୍ଟଭାବେ ହାତଲ କରାଯାଏ। ଆପଣଙ୍କ integration ସେ route ପାଇଁ ଆପଣ ବାଛିଥିବା fallback ବ୍ୟବହାର କରେ, ଏବଂ evidence ନଥିବାରୁ result କେବେ ମଧ୍ୟ Human କୁ upgrade କରାଯାଏ ନାହିଁ।
କିଛି ମାସ ପରେ ଭଲ ଦେଖାଯାଉଥିବା ଅବସ୍ଥା କିପରି ହୁଏ
ଅଜଣା ସ୍ୱୟଂଚାଳିତ traffic କୁ ଭଲଭାବେ ହାତଲ କରୁଥିବା team ମାନେ ପ୍ରାୟତଃ ସମାନ ସୁସ୍ଥ ଅବସ୍ଥାରେ ପହଞ୍ଚନ୍ତି। Unknown ପ୍ରତ୍ୟେକ ଗୁରୁତ୍ୱପୂର୍ଣ୍ଣ route ରେ ଏକ ପରିଚିତ quantity ହୋଇଯାଏ, human ଏବଂ agent activity ସହ ଏକେ dashboard ରେ track ହୁଏ। ପ୍ରତ୍ୟେକ route ପାଇଁ ଏକ ଲିଖିତ fallback ରହେ ଯାହା product, platform ଏବଂ security team ସମେତ ଏକାସାଙ୍ଗେ ସହମତ ହୋଇଥାନ୍ତି। ଅଧିକ operator ନିଜ request ସହି କରିବା ସହ verified agent traffic ବଢ଼େ, ଏବଂ ସେଇ agent ମାନେ page scrape କରିବା ପରିବର୍ତ୍ତେ structured path ମାଧ୍ୟମରେ ସେବା ପାଆନ୍ତି। Sensitive action ଗୁଡ଼ିକ application ପୂର୍ବରୁ ଭରସା କରୁଥିବା authentication ଏବଂ step-up control ଦ୍ୱାରା ସୁରକ୍ଷିତ ରହେ, actor context gatekeeper ନୁହେଁ ବରଂ ଏକ ଅତିରିକ୍ତ input ଭାବରେ ରହେ।
ସବୁଠାରୁ ଗୁରୁତ୍ୱପୂର୍ଣ୍ଣ, କେହି ଅନୁମାନ କରୁନାହାନ୍ତି। କେହି ପଚାରିଲେ ଗତ ସପ୍ତାହର traffic ର କେତେ ଅଂଶ automated ଥିଲା, ଉତ୍ତର basis ସହିତ ଆସେ: ଏତିକି verified, ଏତିକି declared, ଏତିକି inferred, ଏବଂ ଏତିକି ଏପର୍ଯ୍ୟନ୍ତ Unknown। ଏହା ଏକ ଏମିତି ସଂଖ୍ୟା ଯାହା ଉପରେ team ପରିକଳ୍ପନା କରିପାରେ। ଏହା leadership ସହ ଆଲୋଚନାକୁ ମଧ୍ୟ ପରିବର୍ତ୍ତନ କରେ, କାରଣ ପ୍ରଶ୍ନ bot ସମସ୍ୟା କି ନୁହେଁ ସେଠାରୁ ବଦଳି କେଉଁ route ଅଧିକ evidence ଯୋଗ୍ୟ ଏବଂ କେଉଁ fallback ସଂଶୋଧନ ଆବଶ୍ୟକ ସେଥିକି ହୋଇଯାଏ।
observation mode ରେ ଆରମ୍ଭ କରନ୍ତୁ
Proof of Actor default ଭାବେ କିଛି block କରେ ନାହିଁ। observation mode ରେ, result record କରାଯାଏ ଯେତେବେଳେ ଆପଣଙ୍କ application ପୂର୍ବପରି ସଠିକ୍ ସେହିଭଳି response କରେ। ଆପଣଙ୍କ team ପ୍ରତ୍ୟେକ route କେତେ unknown automated traffic ପାଉଛି ଦେଖେ, ଆପଣ ପୂର୍ବରୁ ଜାଣିଥିବା outcome ସହ ତୁଳନା କରେ, ଏବଂ ବାସ୍ତବ pattern ଉପରେ ଆଧାର କରି fallback ଡିଜାଇନ କରେ। policy ଗୁଡ଼ିକ ପ୍ରତ୍ୟେକ route କୁ ଏକ ସମୟରେ ସକ୍ରିୟ କରାଯାଏ, କେବଳ ଯେତେବେଳେ ଆପଣଙ୍କ team ନିଶ୍ଚିତ ହୁଏ ଯେ ସେଗୁଡ଼ିକ ମେଳାଏ।
founding developer program ରେ ଯୋଗଦିଅନ୍ତୁ
Proof of Actor private beta ରେ ଅଛି। ଚୟିତ founding developer team ମାନେ ସହମତ usage limit ମଧ୍ୟରେ, product feedback ପାଇଁ 12 months ପର୍ଯ୍ୟନ୍ତ free access ଏବଂ ଆମ engineer ମାନଙ୍କ ପକ୍ଷରୁ direct integration support ପାଇପାରିବେ।
ଯଦି unknown automated traffic ଆପଣଙ୍କ analytics କିମ୍ବା security decision କୁ ପ୍ରଭାବିତ କରୁଛି, apply for early access। ଆପଣଙ୍କ application ଏବଂ କେଉଁ route ରେ Unknown ସବୁଠାରୁ ଅଧିକ ଗୁରୁତ୍ୱପୂର୍ଣ୍ଣ ସେଥିପାଇଁ ଆମକୁ କହନ୍ତୁ।
Proof of Actor ଅନୁସନ୍ଧାନ କରନ୍ତୁ, how it works ପଢ଼ନ୍ତୁ, କିମ୍ବା what the evidence can establish ଦେଖନ୍ତୁ।
Sources
- RFC 9421: HTTP Message Signatures, IETF, February 2024.
- Web Bot Auth (webbotauth) working group charter, IETF.
- Verifying Googlebot and other Google crawlers, Google Search Central.
- How to verify that Bingbot is Bingbot, Bing Webmaster Blog.