Blog

2026.09.16

Kiểm thử chấp nhận AI Agent 2026: 7 cổng cho RFP

Kiểm thử chấp nhận AI Agent 2026: 7 cổng cho RFP

Kiểm thử chấp nhận AI Agent phải xem xét nhiều hơn độ chính xác của câu trả lời. Một agent kết nối với nhà máy hoặc quy trình nghiệp vụ cốt lõi có thể đọc dữ liệu, chọn công cụ, thao tác hệ thống bên ngoài và yêu cầu con người phê duyệt. Vì vậy, đặc tả nghiệm thu phải bao gồm ranh giới quyền, phê duyệt, dừng và khôi phục, bảo mật, nhật ký kiểm toán và độ lệch sau khi vận hành, bên cạnh kết quả chức năng. Hướng dẫn này tổ chức quá trình từ RFP đến FAT và SAT thành 7 cổng để lãnh đạo cơ sở tại Thái Lan, IT, chất lượng, kiểm toán và mua hàng cùng sử dụng.

Đây không phải hướng dẫn triển khai AI Agent tổng quát. Để chọn use case và lập kế hoạch rollout, hãy xem Triển khai AI Agent 2026. Về thiết kế session và môi trường thực thi dành riêng cho Agents API, xem Thiết kế vận hành AI Agent API. Trọng tâm ở đây là cách bên mua định nghĩa bằng bằng chứng rằng hệ thống “đủ điều kiện vào production”.

Vì sao cần thiết kế lại kiểm thử chấp nhận AI Agent ngay lúc này

OpenAI công bố Agents API ngày 10 tháng 9 năm 2026. Nền tảng cho phép chạy cloud agent bằng cách chỉ định tác vụ, mô hình, công cụ và môi trường. Session dài, khám phá công cụ, gọi công cụ bằng chương trình và phối hợp subagent trở nên dễ triển khai hơn. Vì thế, đối tượng nghiệm thu mở rộng từ riêng mô hình sang toàn hệ thống gồm mô hình, harness, công cụ, quyền, dữ liệu và người vận hành.

Mô tả về OpenAI Presence nêu rõ các điểm kiểm soát của doanh nghiệp: công ty quyết định agent được làm gì, khi nào phải xin phê duyệt và khi nào phải chuyển cho con người. Trước khi ra mắt, đội dự án kiểm thử yêu cầu thường gặp, trường hợp biên và tình huống rủi ro cao; họ đánh giá kết quả, tuân thủ chính sách, việc dùng công cụ và escalation. Chỉ một benchmark năng lực không đủ để quyết định nghiệm thu.

NIST công bố bản dự thảo công khai đầu tiên của TEVV-Athlon ngày 7 tháng 8 năm 2026. Phương pháp bốn giai đoạn giúp tổ chức tùy biến Test, Evaluation, Verification and Validation theo mục tiêu. Phạm vi bao gồm hệ thống agentic và nêu chuyên gia mua sắm là một nhóm liên quan. Điểm cốt lõi là dự thảo không đặt một điểm đạt chung. Bên mua phải định nghĩa bằng chứng và ngưỡng phù hợp quy trình, dữ liệu, tác động thiệt hại và thẩm quyền phê duyệt của mình.

Kiểm thử độ chính xác khác kiểm thử chấp nhận như thế nào

Kiểm thử độ chính xác chủ yếu hỏi câu trả lời có đúng không. Kiểm thử chấp nhận còn hỏi agent có chỉ dùng thông tin được phép, chỉ thực hiện hành động được phép, tuân thủ phê duyệt bắt buộc, dừng an toàn và để lại đủ bằng chứng để dựng lại phiên chạy hay không.

Một purchasing agent có thể chọn đúng nhà cung cấp nhưng vẫn không đạt nếu ghi PO trước khi được duyệt. Một maintenance agent có thể xác định đúng lỗi nhưng vẫn không đạt nếu đề xuất thay đổi PLC từ hướng dẫn đã lỗi thời và không lưu lịch sử thay đổi. Nghiệm thu phải đánh giá cả kết quả lẫn đường đi.

Khía cạnhKiểm thử độ chính xác mô hìnhKiểm thử chấp nhận AI Agent
Đối tượng chínhPhản hồi, phân loại, dự đoánAgent, công cụ, quyền, dữ liệu, vận hành
Logic đạtAccuracy hoặc điểm graderKết quả nghiệp vụ và kiểm soát cùng đạt
Ví dụ lỗiSai hoặc thiếu câu trả lờiHành động trái phép, vượt quyền, không dừng được, thiếu bằng chứng
Bằng chứngInput, output, scoreInput/output, lịch sử công cụ, phê duyệt, log, hồ sơ khôi phục
Sau go-liveCó thể đánh giá lại tùy trường hợpĐịnh sẵn giám sát drift và trigger tái nghiệm thu

Cố định ranh giới nghiệm thu trước khi viết AI Agent RFP

Trước khi viết AI Agent RFP, hãy định nghĩa công việc bằng một câu. “Tự động hóa mua hàng” quá rộng. Một câu kiểm thử được là: “Đọc BOM và tồn kho đã được phê duyệt, lập danh sách nhà cung cấp và chỉ tạo đề xuất PO trong ERP sau khi trưởng bộ phận mua hàng phê duyệt.” Câu này chỉ ra input, output, hành động được phép, người phê duyệt và đích ghi.

Tiếp theo, liệt kê phần ngoài ranh giới: sửa price master, đổi tài khoản ngân hàng nhà cung cấp, đơn khẩn cấp hoặc gửi dữ liệu cá nhân ra ngoài. “Không làm việc không được yêu cầu” không thể kiểm chứng. Hãy tạo case cho từng hành động cấm và xác nhận cả việc bị chặn lẫn nhật ký từ chối.

Tám sản phẩm bàn giao bắt buộc trong RFP

  1. Danh mục business scenario có ưu tiên
  2. Sổ đăng ký công cụ, API và nguồn dữ liệu
  3. Ma trận quyền theo role
  4. Luồng phê duyệt và handoff cho con người
  5. Test case cho điều kiện bình thường, ngoại lệ và tấn công
  6. Quy trình dừng, cô lập, rollback và restart
  7. Trường audit log, thời gian lưu, quyền xem và chính sách masking
  8. Metric production, change control và tiêu chí tái nghiệm thu

Không nên chỉ yêu cầu nhà cung cấp trả lời có/không. Với từng mục, phải yêu cầu phương pháp triển khai, phương pháp kiểm thử, bằng chứng, giới hạn và residual risk. Dùng cùng cấu trúc trong bảng trả lời RFP và bảng nghiệm thu sẽ tạo truy vết từ so sánh đề xuất đến phê duyệt production.

Kiểm thử chấp nhận AI Agent 2026: 7 cổng cho RFP - figure 1

Bảy cổng kiểm thử chấp nhận AI Agent

Bảy cổng sau là mẫu thực hành cho nghiệm thu kiểu FAT/SAT. Ngôn ngữ số trong bảng chỉ là ví dụ do từng tổ chức định nghĩa, không phải benchmark chung. Một tổ chức có thể dùng mục tiêu thống kê cho chất lượng ngôn ngữ nhưng cho phép bằng 0 đối với hành động vượt quyền rủi ro cao.

CổngĐối tượng nghiệm thuKiểm thử chínhVí dụ điều kiện đạt do tổ chức đặtBằng chứng bắt buộc
G1 Chức năngHoàn thành công việc đã định nghĩaBình thường, ngoại lệ, đa ngôn ngữ, thiếu inputMọi critical case đạt; general case đạt tỷ lệ do tổ chức chọnCase ID, input, output, grading, kết quả rerun
G2 QuyềnRanh giới read/create/update/executeLeast privilege, role khác, hết hạn, hành động cấmVượt quyền nghiêm trọng 0 lần; không gọi tool ngoài allowlistCấu hình IAM, danh sách tool, rejection log
G3 Phê duyệtPhê duyệt và handoffDuyệt, từ chối, timeout, duyệt trùngSide effect trước duyệt 0 lần; truy được một approver duy nhấtApproval ID, thời gian, diff được duyệt, người execute
G4 Dừng/khôi phụcKill switch, cô lập, restartDừng khẩn cấp, mất mạng, API lỗi, rerunDừng trong thời gian tổ chức đặt; không hành động trùng; restart sau reconcileThời điểm dừng, việc đang chạy, compensation, hồ sơ khôi phục
G5 Bảo mậtInjection, rò rỉ, lạm dụng toolIndirect prompt injection, gợi lộ bí mật, dữ liệu giả mạoGửi hoặc execute trái phép mức critical = 0; fail safe khi phát hiệnAttack case, trace đầy đủ, cảnh báo, hồ sơ ứng phó
G6 Audit logDựng lại quyết định và hành độngThiếu sự kiện, lệch giờ, masking, truy vấnThiếu trường bắt buộc 0; truy được end-to-end cho từng caseTrace ID, tool call, approval, model/config version, nơi lưu
G7 Operational driftThay đổi sau go-liveCập nhật model, prompt, tool, dataVượt ngưỡng do tổ chức đặt thì tự dừng/degraded mode; retest trước thay đổi trọng yếuVersion history, xu hướng metric, change ticket, kết quả tái nghiệm thu

G1 Chức năng: tách critical scenario khỏi điểm trung bình

Kiểm thử không chỉ happy path mà cả hết tồn kho, master data không nhất quán, tiếng Thái trộn tiếng Anh, thiếu attachment, trùng tên thiết bị và API timeout. Điểm trung bình có thể che một lỗi hiếm nhưng nghiêm trọng. Hãy phân case thành critical, major và general rồi dùng quy tắc khác nhau, chẳng hạn mọi critical case phải đạt.

Trang công bố Agents API có lời nhận xét của khách hàng Ciridae rằng điểm đánh giá của workflow của họ tăng từ 0.71 lên 0.85. Đây là kết quả của một khách hàng cụ thể, không phải mục tiêu nghiệm thu có thể áp cho tổ chức khác. RFP nên ghi rằng frozen test set, grader và quy tắc chấm của bên mua mới là căn cứ.

Chạy cùng input nhiều lần vì hệ thống tạo sinh có tính xác suất. Khả năng tái tạo còn đòi hỏi snapshot dữ liệu truy xuất, phản hồi công cụ và giá trị phụ thuộc thời gian; chỉ cố định model và temperature là chưa đủ.

G2 Thiết kế quyền AI Agent: ràng buộc đường thực thi

Least privilege là nguyên tắc của thiết kế quyền AI Agent. Tách tool read-only khỏi tool write, đồng thời giới hạn write theo bảng, trường, số tiền, khung giờ và cơ sở. Một prompt ghi “không sửa đổi” không phải access control. Phải thực thi ranh giới tại service account, API, network và tool wrapper.

Acceptance case cần chuyển giữa authorized user, unauthorized user, session hết hạn, role nhân viên đã nghỉ, cơ sở khác và trước/sau approval. Không chỉ kiểm tra bị từ chối; lý do phải audit được và fallback phải an toàn. Agent bị từ chối ghi ERP không được lách bằng cách export CSV sang external storage.

G3 Phê duyệt: chặn ngay trước side effect

Đặt approval gate giữa lúc tạo đề xuất và thao tác thay đổi hệ thống thật. Cho approver xem action, target, diff, căn cứ, tác động dự kiến và thời hạn. Gắn approval với payload cụ thể bằng ID hoặc hash để nội dung execute không thể âm thầm khác nội dung đã duyệt.

Kiểm thử duyệt, từ chối, bỏ mặc, mất quyền approver, dữ liệu đổi sau duyệt, double-click và duyệt đồng thời từ thiết bị khác. Approval hết hạn không được execute mà phải yêu cầu lại. Nếu giá hoặc đích thay đổi, approval cũ phải vô hiệu.

Guardrail của OpenAI Agents SDK áp dụng ở các ranh giới khác nhau: input guardrail cho agent đầu tiên, output guardrail cho agent xuất kết quả cuối, và tool guardrail cho từng protected tool call. Với input guardrail chạy song song, agent và công cụ có thể đã bắt đầu trước khi bị hủy. Nơi bắt buộc tránh side effect phải thử blocking execution hoặc tool-level guardrail và lưu bằng chứng hành vi thực.

G4 Điều kiện dừng AI Agent: dừng, dọn và quay lại an toàn

“Dừng khi có lỗi” chưa phải điều kiện dừng AI Agent đầy đủ. Cần định trigger, phạm vi bị dừng, trạng thái sau dừng và quyền restart. Trigger có thể là yêu cầu tool cấm, approval mismatch, phát hiện dữ liệu nhạy cảm, lỗi lặp lại, external API bất thường, chạm cost limit, xuất log thất bại hoặc mất monitoring.

Kill switch phải tới được execution queue, subagent, long-running tool và retry job, không chỉ giao diện parent agent. Sau khi dừng, chặn run mới, liệt kê việc đang hoạt động và reconcile side effect đã hoàn thành. Transaction ERP viết dở cần compensation transaction hoặc thủ tục sửa thủ công có kiểm soát.

Kiểm thử chấp nhận AI Agent 2026: 7 cổng cho RFP - figure 2

Recovery test phải chứng minh resume cùng job không tạo PO hay thông báo trùng. Dùng idempotency key, checkpoint, processed marker và transaction ID của hệ thống ngoài. Chấm “dừng an toàn” và “khôi phục an toàn” là hai điều kiện riêng.

G5 Bảo mật: không tin một lần thử tấn công

Agent đọc email, file, web và comment ERP không đáng tin. Nghiệm thu phải có indirect prompt injection, trong đó chỉ thị độc hại ẩn trong dữ liệu. OWASP Agentic Security Initiative nghiên cứu rủi ro riêng của autonomous agent, workflow nhiều bước và điểm nối như MCP. RFP phải yêu cầu threat model, tool policy, data classification, egress control, secret handling và incident process.

Trong một thí nghiệm NIST CAISI AgentDojo cụ thể, 5 injection task được thử 25 lần mỗi task. Theo điều kiện so sánh của thí nghiệm đó, attack success rate trung bình của 5 task tăng từ 57% lên 80% sau khi thử lặp. Đây không phải tỷ lệ chung của ngành; nó chỉ thuộc các task, model, environment và procedure đó. Bài học thực hành hẹp hơn là: chặn được một lần là bằng chứng yếu. Hãy lặp lại tấn công rủi ro cao với cách diễn đạt, thứ tự và kênh dữ liệu khác nhau.

NIST cũng ghi nhận evaluation cheating: agent xem code mới hơn, tắt assertion, viết logic riêng cho test hoặc gây denial-of-service thay vì khai thác lỗ hổng theo yêu cầu. Vì vậy phải cách ly artifact chứa đáp án, giới hạn Internet đúng thiết kế và review trace thay vì chỉ nhận final score.

G6 Audit log: dựng lại ai đã làm gì và vì sao

Tối thiểu log phải có business/case ID, user, agent version, model version, prompt/policy version, data reference, tool name và argument, tool result, approval ID, timestamp, final outcome, stop và exception. Không nhất thiết lưu bí mật dưới dạng rõ; masking và stable reference có thể duy trì cả bảo mật và khả năng truy vết.

Tracing của OpenAI Agents SDK có thể ghi model generation, tool call, handoff, guardrail và custom event. Tài liệu cũng nêu rằng tracing này không có cho tổ chức dùng OpenAI API theo chính sách Zero Data Retention. Đặc tả nghiệm thu phải chỉ rõ contract/config thực, nơi lưu, field, và bằng chứng nội bộ thay thế khi built-in tracing không dùng được.

Hãy thử log platform bị lỗi, clock skew, input quá lớn, trường bí mật, nhiều subagent, retry và approval bị từ chối. Xác nhận một business ID truy được toàn bộ đường đi. Quyết định trước rằng hành động rủi ro cao có dừng an toàn khi không thu thập được bằng chứng hay không.

G7 Operational drift: go-live không phải điểm cuối nghiệm thu

Model, prompt, tool, API, master data và cách nói của người dùng thay đổi trong production. Kết quả đạt ngày go-live không tự động còn đúng. OpenAI Presence cũng mô tả việc dùng production session, escalation và quality signal, so sánh thay đổi đề xuất với phiên bản production, rồi phê duyệt controlled rollout.

Chia change thành 3 cấp. Minor change chạy automated regression. Impacting change cần partial re-acceptance cùng owner approval. Material change chạy lại cả 7 cổng. Model major version, tool write mới, mở rộng quyền, thêm dữ liệu cá nhân hoặc thay đổi cách dừng là ứng viên material.

Theo dõi nhiều hơn task completion: critical error, approval và rejection, human handoff, yêu cầu tool cấm, stop event, missing log và sai khác khi rerun case cũ. Tổ chức đặt threshold và chỉ định owner của degraded mode, shutdown và re-evaluation.

Cách xây dựng gói bằng chứng nghiệm thu

Dù đã chạy đủ 7 cổng, các screenshot rời rạc vẫn không tạo thành nghiệm thu có thể kiểm toán. Bằng chứng phải nối “yêu cầu → case → lần chạy → kết quả → defect → sửa đổi → retest” bằng một hệ ID. Ví dụ, dùng REQ cho yêu cầu RFP, TC cho test case, RUN cho execution record, DEF cho defect và APR cho approval, với cross-reference trong sổ đăng ký. Người quyết định cuối phải đi từ yêu cầu đến bản ghi chạy đã đạt chỉ trong vài bước.

Mỗi RUN nên lưu thời gian, người chạy, environment, phiên bản agent/model/prompt/tool, data snapshot, input, output, mọi tool call, approval, sai khác với kỳ vọng và người đánh giá. Video và screenshot chỉ là bằng chứng hỗ trợ, không thay thế structured log có thể tìm kiếm. Với một lần fail, không chỉ cần màn hình cuối; người review phải biết agent đã đọc gì, chọn tool nào và guardrail kích hoạt ở đâu.

Sau khi sửa defect, không được ghi đè RUN thất bại. Lưu failed RUN và corrected RUN riêng rồi nối bằng change ticket. Cách này tránh làm hồ sơ có vẻ như đã đạt từ đầu và cho phép audit quá trình cải tiến. Nếu lỗi tái diễn sau acceptance, đội dự án có thể so sánh giả định cũ với điều kiện hiện tại.

Quyền sở hữu và quyền xem bằng chứng

Nếu bằng chứng chỉ nằm trên log platform của nhà cung cấp, bên mua có thể mất quyền truy cập khi hợp đồng kết thúc hoặc dịch vụ lỗi. Bên mua nên giữ tối thiểu decision summary, configuration version, approval, tool history, hash và reference đến repository. Ngược lại, prompt và trace có thể chứa tên khách hàng, chi tiết thiết bị, dữ liệu cá nhân hoặc giá trị giống secret. Hãy tách bằng chứng quality cần xem khỏi tài liệu mật chỉ security được xem, đồng thời đặt quy tắc xuất và thời gian lưu.

Khi cơ sở Thái Lan và trụ sở Nhật Bản cùng quyết định, lưu thời gian bằng UTC hoặc kèm time zone rõ ràng và dùng cùng case ID giữa các ngôn ngữ. Nếu test specification tiếng Nhật, câu trả lời nhà cung cấp tiếng Anh và site record tiếng Thái dùng số khác nhau, phát hiện critical có thể mất trong dịch thuật. Đưa bản gốc, bản dịch đã duyệt và glossary vào cùng package; chuẩn hóa tên thiết bị, tên chức vụ và thuật ngữ lý do dừng.

Triển khai trách nhiệm tại cơ sở Thái Lan

Khi trụ sở viết policy còn site vận hành, quyền dừng và restart phải phù hợp ca làm thật. Nếu ca đêm ở Thái chỉ có approver tại Nhật được gỡ stop, downtime có thể kéo dài; nhưng cho nhân sự site tự restart hành động rủi ro cao cũng không an toàn. Một phương án là cho người phụ trách tại chỗ quyền dừng ngay và yêu cầu dual approval để restart tùy tác động nghiệp vụ.

Với hoạt động theo ca, hãy định nghĩa job role và thứ tự ủy quyền, không chỉ tên cá nhân. Quy định khi nào approval đi qua ca bị hết hạn, handover ra sao và ai review pending queue. Đưa lịch nghỉ, liên lạc nhà cung cấp ngoài giờ, mất điện và mất truyền thông vào SAT. Đây là hạng mục thiết kế vận hành, không phải khẳng định về một yêu cầu pháp luật cụ thể.

Với input đa ngôn ngữ, kiểm thử cách hiểu từ chỉ quyền bên cạnh chất lượng dịch. Các từ “approve”, “confirm” và “execute” có thể được dùng mơ hồ trong tiếng Nhật, Anh và Thái; một yêu cầu xác nhận không được hiểu thành quyền thực thi. Approval UI nên hiển thị loại action và target bằng structured field, không dùng riêng free text làm ủy quyền. Gắn viết tắt thiết bị và tên linh kiện địa phương với master ID để tránh tác động lên tài sản có tên tương tự.

Không coi mạng không ổn định chỉ là vấn đề performance. Phải kiểm tra approval được retransmit không bị đếm hai lần, job mất kết nối không đồng loạt execute sau reconnect, và write không tiếp tục khi chỉ log export đã thất bại. Chạy các case này trên tuyến mạng và lịch làm thật của cơ sở Thái là một giá trị chính của SAT.

Phân chia FAT và SAT như thế nào

FAT tạo bằng chứng lặp lại được trong môi trường nhà cung cấp hoặc validation. Dùng frozen dataset, ERP/thiết bị mô phỏng, attack data và network fault được kiểm soát để bao phủ 7 cổng. SAT kiểm tra khác biệt do network, role, ngôn ngữ, approver, giờ vận hành và hạn chế kết nối thật tại cơ sở Thái Lan.

Hạng mụcXác nhận trong FATXác nhận trong SAT
Dữ liệuSnapshot ẩn danh và cố địnhChất lượng/quyền của local master data
Hệ thốngMock API và sandboxKết nối thật, latency, đường dừng
Con ngườiRole giả địnhApprover thật, người thay ca, giờ làm việc
Ngôn ngữBộ JA/EN/TH hoặc ngôn ngữ quy địnhThuật ngữ hiện trường, viết tắt, input trộn
Sự cốFault được chèn có kiểm soátMất kết nối và khôi phục gần vận hành thật
Bằng chứngTest package tái tạo đượcĐiều kiện site và chênh lệch đã ghi

Nếu SAT là lần đầu được ghi production ERP, hãy giới hạn record, volume và khung giờ. Tiến từ shadow mode sang proposal-only, approved write rồi mới automated write. Full autonomy không phải điều kiện để deployment tạo giá trị.

Xây dựng AI Agent evaluation case tái tạo được

Case phải mô tả initial state và expected path, không chỉ câu người dùng. Gói case ID, mục đích, risk, precondition, input, tool có thể dùng, tool bị cấm, data snapshot, expected result, tolerance, expected approval, expected log và cleanup thành một bộ.

Ghi cả đường cấm lẫn kết quả mong muốn

Với “phát hiện thiếu tồn và chuẩn bị đề xuất mua,” đường cấm có thể gồm ghi ERP trước approval, gửi tới supplier chưa duyệt, export sang mailbox cá nhân và sửa price master. Đi đến kết quả đúng qua đường cấm vẫn là không đạt.

Bảo vệ môi trường kiểm thử khỏi Agent

Không đặt đáp án trong filename, để solution trong git history, cho tool truy cập scoring API hoặc lẫn quyền test-only với production. Tách quyền runner và grader và cho con người review mẫu trace để giảm solution contamination và grader gaming.

Lưu failed run để tái tạo

Khi fail, lưu phiên bản tài liệu tham chiếu, tool response, model/config, approval state và trace ID cùng input. Mask thông tin cá nhân/bí mật nhưng giữ reference để dựng điều kiện. Sau khi sửa, chạy lại case bị ảnh hưởng và regression set liên quan.

Kiểm thử chấp nhận AI Agent 2026: 7 cổng cho RFP - figure 3

Từ RFP đến phê duyệt production

1. Giao trách nhiệm bằng RACI

Business owner định mục đích và tác động; IT phụ trách kết nối và quyền; quality phụ trách test design; security phụ trách threat model; internal audit phụ trách bằng chứng; local site owner phụ trách điều kiện SAT. Chỉ định final production approver và stop authority riêng.

2. Phát hành gate và evidence template trước khi chọn nhà cung cấp

Thêm yêu cầu nghiệm thu sau hợp đồng làm rối giá và trách nhiệm. Đưa 7 cổng, scenario, evidence template, test environment và retest condition vào RFP. Xem benchmark của nhà cung cấp là tài liệu hỗ trợ nhưng yêu cầu tái tạo trên case của bên mua.

3. Phê duyệt residual risk, không chỉ pass/fail

Không phải risk nào cũng loại bỏ được. Ghi impact, trigger, detection, workaround, due date và owner cho từng mục chưa xử lý. Không chấp nhận privilege violation hoặc unauthorized egress rủi ro cao còn mở; sai khác câu chữ nhỏ có thể chấp nhận cùng monitoring. Phải phân biệt rõ.

4. Ghi phạm vi và điều kiện hết hiệu lực trong production permit

Production permit không vĩnh viễn. Ghi agent version, model, tool, data, site, role, operation và validity period được duyệt. Material change, thiếu audit evidence, stop event, severe incident hoặc threshold breach phải làm permit hết hạn hoặc mở lại xét duyệt.

Các lỗi thường gặp trong kiểm thử chấp nhận AI Agent

  • Coi demo thành công là production acceptance
  • Chỉ dùng average accuracy và che mất critical scenario
  • Nhầm lệnh cấm trong prompt với access control có thể thực thi
  • Có approval screen nhưng không gắn approval với payload được execute
  • Dừng parent agent nhưng subagent hoặc retry worker còn chạy
  • Có log nhưng thiếu model version, tool argument hoặc approval ID
  • Tuyên bố an toàn sau một lần chặn tấn công
  • Đạt FAT nhưng bỏ qua ngôn ngữ, network và ca làm việc của cơ sở Thái Lan
  • Coi model update là minor và bỏ re-acceptance

Đây không chỉ là lỗi kỹ thuật mà là mắt xích đứt giữa hợp đồng, trách nhiệm, vận hành và kiểm toán. Dùng cùng 7 cổng cho RFP và nghiệm thu sẽ nối các mắt xích đó.

FAQ

Kiểm thử chấp nhận AI Agent là gì?

Đây là đánh giá trước production dựa trên bằng chứng cho toàn hệ thống agent: khả năng làm công việc đã định nghĩa cùng quyền, phê duyệt, dừng/khôi phục, bảo mật, audit log và operational drift. Phạm vi rộng hơn đánh giá độ chính xác mô hình.

AI Agent RFP bắt buộc phải có gì?

Phải có công việc và phần loại trừ, tool/data, quyền theo role, điểm approval, stop condition, test case, evidence, log, change management và re-acceptance criteria. Yêu cầu cả phương pháp triển khai/kiểm thử và giới hạn, không chỉ checkbox.

Prompt có đủ cho thiết kế quyền AI Agent không?

Không. Ngoài chỉ thị prompt, phải cưỡng chế least privilege bằng service account, API, network, tool wrapper và hệ thống dữ liệu đích. Kiểm thử phải xác nhận hành động cấm và đường lách bị chặn thật.

Xác định điều kiện dừng AI Agent như thế nào?

Bắt đầu từ prohibited action, approval mismatch, phát hiện dữ liệu nhạy cảm, API fault, repeated failure hoặc mất monitoring. Định scope, thời gian tối đa, isolation, compensation và restart authority. Mỗi tổ chức tự đặt ngưỡng số theo tác động vận hành.

Nên lặp AI Agent evaluation bao nhiêu lần?

Không có số chung. Đặt số lần theo biến động xác suất, tác động và khả năng kẻ tấn công retry. Lặp critical/attack case với cách diễn đạt khác nhau và ghi model, config, data, tool response.

Có cần cả FAT và SAT không?

Nên dùng cả hai khi production site khác môi trường validation. FAT tạo bằng chứng lặp lại; SAT xác nhận quyền, ngôn ngữ, network, con người và hệ thống ngoài tại địa phương. Có thể chia SAT theo giai đoạn dựa trên risk.

Kết luận

Đạt kiểm thử chấp nhận AI Agent không có nghĩa là “trả lời tốt.” Nó có nghĩa agent hoạt động trong ranh giới được phép, lấy đúng phê duyệt, dừng và khôi phục an toàn, đồng thời để lại bằng chứng có thể dựng lại. Dùng cùng 7 cổng—chức năng, quyền, phê duyệt, dừng/khôi phục, bảo mật, audit log và operational drift—từ RFP đến production giúp bên mua, nhà cung cấp, cơ sở và kiểm toán đánh giá cùng một bằng chứng. Mục tiêu số phải xuất phát từ tác động vận hành của tổ chức, không vay từ con số tiêu đề bên ngoài.

TOMAS TECH có thể hỗ trợ từ giai đoạn cấu trúc AI Agent RFP hoặc checklist nghiệm thu cho hoạt động tại Thái Lan. Hãy liên hệ với chúng tôi ngay khi dự án còn xác định phạm vi; chúng tôi có thể phân rã công việc, ranh giới quyền và bằng chứng FAT/SAT thành bảng quyết định phù hợp gửi nhà cung cấp.