Website của bạn giờ có hơn một loại khách truy cập
Trong phần lớn lịch sử của web, một website có thể giả định một mô hình đơn giản: một người mở trình duyệt, nhấp qua các trang và có thể đăng nhập. Phân tích, giới hạn tốc độ, luồng onboarding và các kiểm tra bảo mật đều được thiết kế xoay quanh con người đó.
Mô hình đó không còn mô tả đúng lưu lượng thực tế nữa. Ngày nay, một website duy nhất phục vụ những người tự mình duyệt web, những người nhờ trợ lý AI tóm tắt hoặc điền nội dung thay cho họ, các tác nhân tự trị đọc trang và gọi các endpoint thay mặt cho người khác, cùng với một lượng lớn trình thu thập và script. Các nhà cung cấp AI tự tài liệu hóa một số khách truy cập này: ví dụ, OpenAI công bố các user agent riêng cho search crawler, training crawler và fetcher truy cập trang khi người dùng ChatGPT đặt câu hỏi (OpenAI crawler documentation), và Anthropic cũng làm điều tương tự với ClaudeBot, Claude-User và Claude-SearchBot (Anthropic crawler documentation). Một số khách truy cập này được chào đón. Một số cần trải nghiệm khác. Một số cần được xem xét kỹ hơn trước khi có thể thực hiện bất kỳ hành động nhạy cảm nào.
Thách thức là phần lớn những tương tác này ban đầu trông khá giống nhau. Một lần đăng nhập cho bạn biết tài khoản nào đang được dùng. Nó không cho bạn biết đó là người đang nhấp chuột, là trợ lý đang hành động qua phiên làm việc đó, hay là client tự động đang đọc trang giá của bạn cho một người nào đó ở nơi khác. Phát hiện tác nhân AI cho website là về việc lấp đầy khoảng trống đó bằng bằng chứng, để đội ngũ của bạn có thể phản hồi phù hợp với từng loại tác nhân thay vì xử lý mọi lưu lượng theo cùng một cách. Để xem thực hành về các tín hiệu liên quan, hãy đọc cách nhận biết traffic website đến từ tác nhân AI, và xem trường hợp sử dụng cho website để hiểu điều này trên một site production.
Vì sao một điểm số bot đơn lẻ là chưa đủ
Nhiều công cụ trả lời câu hỏi này bằng một con số: điểm bot, điểm rủi ro, một tỷ lệ phần trăm nói rằng khách truy cập trông giống con người đến mức nào. Sức hấp dẫn của nó là hiển nhiên. Một con số rất dễ đưa vào quy tắc.
Vấn đề là một con số đơn lẻ che khuất lập luận phía sau. Khi một điểm số nói rằng một phiên làm việc có khả năng là tự động, đội ngũ của bạn không thể thấy kết luận đó dựa trên chữ ký đã được xác minh, trên chuỗi user-agent mà bất kỳ ai cũng có thể sao chép, hay trên một mẫu hành vi cũng khớp với một người gõ rất nhanh. Khi điểm số đó kích hoạt việc chặn hoặc thử thách, bạn sẽ gánh mọi sai sót của nó mà không có cách nào giải thích cho khách hàng, đồng nghiệp hoặc kiểm toán viên.
Proof of Actor đi theo một cách tiếp cận khác. Mỗi kết quả là một trong bốn lớp rõ ràng, được giải thích trong Người, hỗ trợ bởi AI hay tác nhân: một phân loại cho traffic ứng dụng, và mỗi kết quả đều cho biết nó dựa trên gì. Bạn nhìn thấy kết luận và bằng chứng cùng lúc, nghĩa là bạn có thể tin vào các kết quả mạnh, đặt câu hỏi với các kết quả yếu, và xây dựng các chính sách phù hợp với chất lượng của bằng chứng.
Cách phát hiện tác nhân AI trên website của bạn trong bốn bước
Bạn có thể bắt đầu phát hiện tác nhân AI trên website của mình bằng những công cụ bạn đã có. Bốn bước này trung lập với nhà cung cấp và hoạt động dù bạn có dùng Proof of Actor hay không; bài viết blog về cách nhận biết traffic website đến từ tác nhân AI sẽ đi sâu hơn vào từng bước.
- Liệt kê các tác nhân tự khai báo. Tìm trong server log hoặc CDN log các user agent mà nhà cung cấp AI công bố. OpenAI tài liệu hóa OAI-SearchBot, GPTBot và ChatGPT-User, và nêu rằng ChatGPT-User truy cập trang khi người dùng hỏi ChatGPT một câu hỏi thay vì tự động thu thập. Anthropic tài liệu hóa ClaudeBot, Claude-User và Claude-SearchBot. Điều này cho bạn một bức tranh ban đầu, được khai báo, về traffic của tác nhân theo từng route.
- Xác minh các tuyên bố thay vì tin vào chuỗi ký tự. User agent là thông tin tự khai báo và rất dễ sao chép. Hãy kiểm tra nó bằng phương pháp xác minh của chính nhà vận hành: Google mô tả một truy vấn DNS ngược rồi DNS xuôi, cùng với các file dải IP được công bố, để xác minh Googlebot (Google: verifying Googlebot); Bing mô tả cùng kiểm tra DNS ngược và DNS xuôi đó cho Bingbot (Bing: verifying Bingbot); OpenAI công bố các file dải IP cho từng user agent của mình. Khi client ký yêu cầu bằng HTTP Message Signatures, được định nghĩa trong RFC 9421, hãy kiểm tra chữ ký đối chiếu với key được nhà vận hành công bố.
- Gắn nhãn mọi kết quả với bằng chứng của nó, và giữ lại Unknown. Ghi lại xem mỗi kết luận là verified, declared hay inferred. Traffic không khớp với tác nhân đã được verified hoặc declared nào và không cho thấy mẫu hình con người rõ ràng thì nên được gắn nhãn Unknown, không bị ép vào human hay bot. Đây là bước phân biệt một báo cáo hữu ích với một phỏng đoán.
- Quan sát theo route trước khi hành động. Tách kết quả theo route và workflow trong vài tuần: nội dung công khai, đăng ký, cài đặt tài khoản, APIs. Chỉ sau đó mới viết một chính sách hẹp cho route mà ngữ cảnh tác nhân quan trọng nhất, với phương án dự phòng rõ ràng cho Unknown.
Proof of Actor tự động hóa các bước này bên trong ứng dụng của bạn: nó thu thập các tín hiệu mà tích hợp của bạn có thể nhìn thấy, trả về một lớp cùng với cơ sở của nó, theo dõi Unknown theo route, và để phần chính sách cho code của bạn.
Proof of Actor phát hiện tác nhân AI trên website như thế nào
Proof of Actor được xây dựng quanh một luồng đơn giản: các tín hiệu mà tích hợp của bạn có thể quan sát, một phân loại với cơ sở rõ ràng, và một quyết định vẫn nằm trong tay bạn. Bạn có thể xem toàn bộ luồng trên trang Cách hoạt động. Dưới đây là phiên bản ngắn.
Tín hiệu từ tích hợp của bạn
Mỗi tích hợp nhìn thấy những gì ngữ cảnh của nó cho phép. Tích hợp phía server thấy ngữ cảnh yêu cầu, chi tiết giao thức và, khi client hỗ trợ, một request signature. Tích hợp trình duyệt thấy các tín hiệu tương tác trên những trang mà nó chạy. Một ứng dụng cũng có thể ghi lại các khai báo của chính nó, chẳng hạn như người dùng đánh dấu nội dung là đã phác thảo với hỗ trợ AI, hoặc một agent client tự gọi tên mình.
Proof of Actor làm việc với bằng chứng thực sự hiện diện. Nó không giả vờ nhìn thấy những thứ mà website của bạn không thể quan sát.
Bốn lớp có ý nghĩa cụ thể
Mỗi tương tác rơi vào một trong bốn lớp:
- Human: các tín hiệu quan sát được cho thấy tương tác do con người điều khiển.
- Human + AI: việc hỗ trợ bởi AI đã được khai báo, hoặc được quan sát thông qua một tích hợp được hỗ trợ có thể nhìn thấy nó.
- Agent: tương tác có nguồn gốc tự động hoặc từ tác nhân, được hỗ trợ bởi danh tính có thể xác minh hoặc một suy luận được định lượng cẩn trọng.
- Unknown: bằng chứng hiện có không đủ để đưa ra một xác định đáng tin cậy.
Mỗi lớp đi kèm một định nghĩa rõ ràng và một giới hạn rõ ràng. Kết quả Human không phải là danh tính đã được xác minh. Kết quả Agent không phải là tuyên bố rằng tác nhân đó được ủy quyền. Kết quả Unknown không phải là một cáo buộc. Bạn có thể đọc phân loại đầy đủ trên trang Detection & Limitations.
Cơ sở trên mỗi kết quả
Bên cạnh lớp, mỗi kết quả còn mang theo cơ sở của nó: verified, declared, inferred hoặc unknown. Một yêu cầu mang chữ ký hợp lệ từ một key đã công bố là verified cho kiểm tra đó. Một client tự gọi mình là agent thì đã declared điều đó. Một mẫu hành vi phù hợp với tự động hóa là một suy luận. Sự phân biệt này cho phép chính sách của bạn chính xác. Một agent đã ký được verified trên route chỉ đọc và một client tự khai báo trên trang cài đặt tài khoản không nên được xử lý giống nhau, và với Proof of Actor thì không cần phải như vậy. Mục từ thuật ngữ cơ sở bằng chứng giải thích chi tiết hơn về từng loại.
Đội ngũ của bạn nhận được gì: Detect, Understand, Route
Proof of Actor là một sản phẩm với ba năng lực hoạt động cùng nhau.
Detect
Thu thập các tín hiệu tác nhân mà tích hợp của bạn có thể truy cập và tách các khẳng định đã được verified khỏi các suy luận hành vi. Traffic Unknown vẫn được hiển thị như một danh mục riêng thay vì bị gộp vào một phỏng đoán. Bạn luôn biết tương tác nào bạn có thể nói về với độ tin cậy và tương tác nào cần thêm bằng chứng.
Understand
Xem traffic tác nhân AI của bạn trong ngữ cảnh. Khám phá các loại tương tác theo route và theo thời gian, theo dõi xu hướng của hoạt động human, AI-assisted, agent và unknown, rồi mở bất kỳ phân loại nào để xem điều gì đã biết, điều gì chưa biết, và kết quả dựa trên gì. Đây là nơi các đội ngũ product, platform và security có được một bức tranh chung, có thể giải thích, về ai đang sử dụng website.
Route
Dùng chính sách của bạn để allow, adapt, challenge, review hoặc limit các tương tác cụ thể. Phục vụ một phản hồi có cấu trúc cho một agent đã được verified đang đọc tài liệu của bạn. Giữ nguyên trải nghiệm tiêu chuẩn cho các phiên làm việc do con người điều khiển. Yêu cầu kiểm tra mạnh hơn cho một thay đổi tài khoản nhạy cảm khi các điều kiện của riêng bạn đòi hỏi điều đó. Chọn một phương án dự phòng rõ ràng cho kết quả Unknown và cho timeout, theo từng route. Việc enforce luôn diễn ra trong ứng dụng của bạn, dưới các chính sách mà đội ngũ của bạn xác nhận.
Được thiết kế để phù hợp với website của bạn, không thay thế nó
Proof of Actor nằm cạnh các công cụ bạn đã chạy. Nó không thay thế xác thực, mô hình phân quyền của bạn hay các kiểm soát lạm dụng hiện có. Nó bổ sung ngữ cảnh tác nhân cho chúng.
Một tích hợp website điển hình bắt đầu ở những route mà ngữ cảnh tác nhân quan trọng nhất: nội dung công khai mà các agent đọc nhiều, các luồng đăng ký và onboarding, cài đặt tài khoản và các hành động nhạy cảm khác, cùng với bất kỳ API nào vận hành site. Các đội ngũ founding làm việc cùng kỹ sư của chúng tôi để chọn những route đó, thống nhất các tín hiệu trong phạm vi, và xác nhận dữ liệu được xử lý như thế nào trước khi bất kỳ code nào được triển khai.
Vì lớp quyết định nằm trong code của bạn, bạn vẫn kiểm soát trải nghiệm. Bạn có thể hiển thị kết quả trên một dashboard nội bộ trong nhiều tuần trước khi thay đổi bất kỳ quy tắc nào, rồi bật một chính sách hẹp cho một route, rồi mở rộng khi các kết quả đã đủ để bạn tin tưởng. Hướng dẫn về xử lý traffic Unknown sẽ trình bày cách thiết kế những quy tắc đầu tiên đó.
Bắt đầu ở chế độ quan sát
Cách nhanh nhất để thu được giá trị từ phát hiện tác nhân AI là bắt đầu bằng việc quan sát, không phải chặn. Ở chế độ quan sát, Proof of Actor ghi lại kết quả trong khi website của bạn phản hồi đúng như khi chưa có nó. Sau đó đội ngũ của bạn có thể so sánh các phân loại với những kết quả bạn đã hiểu rõ: ticket hỗ trợ, tích hợp đã biết, công cụ nội bộ và các crawler bạn đã nhận diện.
Điều này cho bạn ba thứ trước khi có bất kỳ enforce nào:
- Một mốc nền. Bao nhiêu traffic của bạn là do con người điều khiển, được hỗ trợ bởi AI, do agent điều khiển hoặc unknown, theo từng route.
- Niềm tin vào bằng chứng. Những tín hiệu nào mạnh trên website của bạn và vùng phủ nào cần mở rộng.
- Chính sách tốt hơn. Các quy tắc được thiết kế quanh những mẫu hình thực tế thay vì giả định, với các false positive được xem xét trước khi bất kỳ ai bị ảnh hưởng.
Khi một chính sách đã sẵn sàng, bạn bật nó cho workflow cụ thể mà nó được thiết kế cho, và bạn vẫn có khả năng điều chỉnh nó bất kỳ lúc nào.
Vì sao phát hiện dựa trên bằng chứng thắng điểm số mơ hồ
Website vốn đã phục vụ agent, trợ lý và con người làm việc với AI song song. Những đội ngũ xử lý tốt điều này sẽ không phải là những đội có bộ lọc khắt khe nhất. Họ sẽ là những đội có thể giải thích quyết định của mình.
Kết quả dựa trên bằng chứng cho bạn lời giải thích đó. Khi một nhân viên hỗ trợ hỏi vì sao một người dùng thấy thêm một bước xác minh, bạn có thể chỉ ra bằng chứng và chính sách đã được áp dụng. Khi một nhà vận hành agent hỏi vì sao các yêu cầu đã ký của họ được phục vụ một phản hồi có cấu trúc, bạn có thể hiển thị cơ sở đã được verified. Khi bằng chứng còn mỏng, kết quả sẽ nói Unknown, và phương án dự phòng của bạn sẽ xử lý nó theo cách bạn đã chọn một cách có chủ đích.
Cách tiếp cận này cũng mở rộng cùng với web. Khi ngày càng nhiều nhà vận hành agent ký yêu cầu của họ và các nỗ lực tiêu chuẩn như nhóm làm việc IETF Web Bot Auth, nhóm này được ủy nhiệm để chuẩn hóa xác thực mật mã cho client tự động, xây dựng trên HTTP message signatures, thì nhiều lưu lượng của bạn sẽ chuyển từ inferred hoặc unknown sang verified, và các chính sách của bạn sẽ chính xác hơn mà không cần viết lại.
Tham gia chương trình founding developer
Proof of Actor đang ở private beta với một nhóm nhỏ các đội ngũ ứng dụng. Các founding developer được chọn có thể nhận tối đa 12 tháng truy cập miễn phí, trong các giới hạn sử dụng đã thỏa thuận, để đổi lấy phản hồi sản phẩm trực tiếp. Bạn nhận được hỗ trợ tích hợp trực tiếp từ kỹ sư của chúng tôi, quyền truy cập sớm vào các khả năng khi chúng trở nên sẵn có, và ảnh hưởng thực sự đến những gì chúng tôi xây dựng tiếp theo.
Nếu website của bạn phục vụ con người, người dùng có hỗ trợ AI và các agent, và bạn muốn biết ai đang dùng nó trước khi quyết định bước tiếp theo, hãy đăng ký quyền truy cập sớm. Hãy cho chúng tôi biết về website của bạn và tương tác mà bạn muốn hiểu nhất, và chúng tôi sẽ xem xét liệu nó có phù hợp với beta hiện tại hay không.
Muốn xem chi tiết trước? Khám phá Proof of Actor, đọc cách nó hoạt động, hoặc xem chính xác bằng chứng có thể và không thể thiết lập điều gì.
Nguồn
- RFC 9421: HTTP Message Signatures, IETF, February 2024.
- Web Bot Auth (webbotauth) working group charter, IETF.
- Overview of OpenAI crawlers, OpenAI.
- Does Anthropic crawl data from the web, and how can site owners block the crawler?, Anthropic.
- Verifying Googlebot and other Google crawlers, Google Search Central.
- How to verify that Bingbot is Bingbot, Bing Webmaster Blog.