Giảm loại nhầm khi kiểm tra ngoại quan bằng AI: Ngưỡng và nghiệm thu

Khi xem xét giải pháp giảm lỗi phát hiện sai trong kiểm tra ngoại quan bằng AI, việc chỉ điều chỉnh thiết lập dựa trên lý do “giảm độ nhạy sẽ giảm loại bỏ nhầm hàng tốt” là rất nguy hiểm. Việc loại nhầm hàng tốt (false reject) gây lãng phí vật tư và tăng công sức kiểm tra lại. Ngược lại, việc để lọt hàng lỗi (escape) sẽ dẫn đến rủi ro sản phẩm lỗi đến tay khách hàng. Tại các dây chuyền sản xuất hàng loạt ở nhà máy Thái Lan, cần đo lường riêng biệt cho từng loại khuyết tật, đồng thời xác định tiêu chí chấp nhận bao gồm cả tuyến kiểm tra lại và quản lý thay đổi. Bài viết này không bàn về lý thuyết chiếu sáng hay hình ảnh học máy, mà tập trung vào thực tiễn quyết định “chọn tiêu chí nào” tại hiện trường sau khi đã triển khai.

Đầu tiên, phân loại riêng biệt: phát hiện sai, bỏ sót và cần xác nhận

Trước hết, cần xác định rõ “dương tính” là gì. Trong bài này, dương tính được định nghĩa là trường hợp AI phán đoán là hàng lỗi. Khi đó:

• Nếu AI phán đoán đúng hàng lỗi là lỗi: dương tính thật (true positive)
• Nếu AI phán đoán nhầm hàng tốt là lỗi: dương tính giả (false positive)
• Nếu AI phán đoán đúng hàng tốt là tốt: âm tính thật (true negative)
• Nếu AI phán đoán nhầm hàng lỗi là tốt: âm tính giả (false negative)

Trong sản xuất, loại nhầm hàng tốt (false reject) chủ yếu tương ứng với dương tính giả, còn để lọt hàng lỗi (escape) tương ứng với âm tính giả. Tuy nhiên, nếu có tuyến kiểm tra lại thủ công trước khi xuất hàng, dương tính giả của AI không đồng nghĩa với việc hàng đó bị loại bỏ cuối cùng. Hãy lưu lại riêng biệt kết quả AI, kết quả kiểm tra lại, và kết quả xử lý thực tế (loại bỏ hoặc xuất hàng).

Nếu cộng “cần xác nhận” vào nhóm hàng lỗi, hệ thống sẽ nghiêng về an toàn nhưng tỷ lệ đạt sẽ giảm. Ngược lại, nếu cộng vào nhóm hàng tốt, sản lượng xử lý tăng nhưng rủi ro lọt lỗi không kiểm soát được. Hãy tính “cần xác nhận” như trạng thái thứ ba, sau đó so sánh với giá trị thực sau khi người xác nhận. Bảng kết quả kiểm tra nên lưu ít nhất: mã linh kiện, mã sản phẩm, lô, thời điểm chụp ảnh, loại khuyết tật, điểm số, ngưỡng áp dụng, phiên bản mô hình, phán đoán AI lần đầu, phán đoán xác nhận của người, trạng thái cổng, xử lý cuối cùng. Nếu chỉ đối chiếu theo thời gian, có thể nhầm lẫn ảnh của linh kiện liền kề khi vận chuyển liên tục.

Ví dụ, nếu nghe “độ chính xác 99%” ở dây chuyền kiểm tra 10.000 sản phẩm/ngày, vẫn chưa đủ để ra quyết định quản lý. Nếu tỷ lệ lỗi thực tế thấp, chỉ cần một số ít hàng tốt bị loại nhầm cũng khiến thùng loại chủ yếu là hàng tốt. Ngược lại, dù tổng độ chính xác cao, chỉ cần một trường hợp bỏ sót lỗi nghiêm trọng cũng không đáp ứng yêu cầu khách hàng. Thay vì chỉ nhìn tổng độ chính xác, hãy kiểm tra trước số trường hợp bỏ sót theo từng loại khuyết tật, tỷ lệ loại nhầm hàng tốt, và tải kiểm tra lại. Cũng cần tách biệt dữ liệu đánh giá và dữ liệu sản xuất hàng loạt. Nếu dùng ảnh đã học để đặt ngưỡng rồi lại gọi đó là “kiểm tra chấp nhận độc lập” thì không đúng.

Nếu muốn chuẩn hóa điều kiện chụp ảnh và cấu hình thiết bị, hãy tham khảo trước PoC, RFP và kiểm tra chấp nhận khi triển khai kiểm tra ngoại quan AI tại Thái Lan. Bài này tập trung vào cách chuyển điểm số từ thiết bị sang hành động đảm bảo chất lượng.

Liệt kê “giá phải trả cho phát hiện sai” theo từng loại khuyết tật

Trước khi áp dụng một ngưỡng chung cho tất cả khuyết tật, hãy lập sổ tay khuyết tật. Các mục gồm: tên khuyết tật, mô tả theo yêu cầu khách hàng, mẫu giới hạn, công đoạn phát sinh, xử lý khi bỏ sót, xử lý khi loại nhầm hàng tốt, thời gian có thể kiểm tra lại, ngoại quan dễ nhầm lẫn, người phê duyệt. Không có lý do gì để áp dụng cùng chi phí và ngưỡng cho vết mẻ ảnh hưởng kích thước/độ bền và vết loang màu trong phạm vi cho phép. Nếu bản vẽ khách hàng hoặc thỏa thuận chất lượng quy định tiêu chí, hãy lấy đó làm điều kiện ưu tiên. Không được ghi đè tiêu chí chỉ vì điểm số AI cao.

Dù gọi các loại khuyết tật là “nghiêm trọng”, “chính”, “nhẹ”, không nên quyết định thiết lập chỉ dựa vào tên gọi. Nguyên tắc là: với khuyết tật nghiêm trọng, ưu tiên giảm tối đa bỏ sót; với khác biệt ngoại quan nhẹ, ưu tiên giảm loại nhầm hàng tốt. Tuy nhiên, thực tế vận hành còn phụ thuộc vào giới hạn cho phép, khả năng nhận biết, khả năng kiểm tra lại ở công đoạn sau, khả năng phát hiện tại khách hàng. Hãy thống nhất ranh giới “điểm này với mẫu A thì OK, mẫu B thì NG” giữa QA và sản xuất, lưu lại làm mẫu giới hạn có phiên bản. Nếu dùng đa số phiếu của nhãn học máy để quyết định ranh giới chưa rõ, chỉ là che giấu sự mơ hồ vào mô hình.

Ngưỡng là ranh giới “nếu điểm số nghi ngờ lỗi vượt mức này thì loại ngay”. Tuy nhiên, điểm số 0.8 của mô hình không nhất thiết nghĩa là xác suất 80%. Nếu chưa hiệu chỉnh, hãy coi điểm số chỉ là thứ tự ưu tiên, quyết định hành động dựa trên ma trận nhầm lẫn thực tế. Nếu cho phép ngưỡng riêng theo từng lớp khuyết tật, cần ghi rõ thứ tự ưu tiên khi nhiều lớp xuất hiện đồng thời. Nếu lớp nghiêm trọng là “cần xác nhận”, lớp nhẹ là “loại”, cần xác định hành động ưu tiên. Mỗi lần thêm lớp, hãy kiểm tra lại quy tắc này.

Việc điều chỉnh ngưỡng sẽ làm thay đổi tỷ lệ phát hiện và tỷ lệ phù hợp, và có thể đưa chi phí vào hàm đánh giá để lựa chọn, như tài liệu chính thức của scikit-learn cũng giải thích. Tuy nhiên, không thể áp dụng nguyên xi giá trị tối ưu trong ví dụ đó cho dây chuyền sản xuất. Cần tự ước tính giá trị thực, chi phí lọt lỗi, tổn thất hàng tốt, khả năng kiểm tra lại tại nhà máy.

Thiết lập ngưỡng kiểm tra ảnh: Chuyển thành ba hành động

Nếu chỉ có hai trạng thái “OK/NG”, dễ dẫn đến việc loại bỏ hoặc cho qua tất cả sản phẩm ở ranh giới. Trong sản xuất hàng loạt, có thể chia dải điểm số thành ba hành động: dưới ngưỡng dưới thì tự động cho qua, vùng giữa thì cách ly để người kiểm tra lại, trên ngưỡng trên thì tự động loại hoặc dừng máy. Vùng giữa không phải là nơi nới lỏng tiêu chí chất lượng, mà là nơi thiết kế tuyến vận chuyển, thùng chứa, nhãn, quyền hạn sao cho sản phẩm chưa xác định không thể quay lại luồng xuất hàng cho đến khi có phán đoán cuối cùng. Nếu người chỉ nhìn màn hình AI và cho qua ngay, không thể gọi đó là kiểm tra lại có thể kiểm toán.

Khi mô tả ba hành động này, hãy liên kết ảnh với sản phẩm thực tế: hàng tốt, hàng ranh giới, hàng lỗi rõ ràng. Thể hiện vị trí chụp trên băng tải, encoder hoặc trigger, tín hiệu phán đoán gửi về PLC, tuyến cho qua, tuyến xác nhận, cổng loại trong một chuỗi thời gian. Nếu trạng thái chỉ tồn tại trên phần mềm, khi mất điện, mất kết nối hoặc kẹt, sẽ mất dấu sản phẩm thực. Cần xác định trước cách xử lý các trường hợp bất thường như “chưa phán đoán xong”, “thiếu ảnh”, “mô hình dừng”.

Độ rộng vùng giữa được tính ngược từ khả năng xác nhận của hiện trường. Ví dụ, nếu kiểm tra 10.000 sản phẩm/ngày, 2% rơi vào vùng giữa, mỗi lần xác nhận mất 45 giây, thì tổng công lao xác nhận là 200 × 45 = 9.000 giây, tức 2,5 giờ/ngày. Đây là tính toán đơn giản, chưa tính thời gian nghỉ, vận chuyển, chụp lại, ghi nhận, tập trung vào giờ cao điểm. Nếu không kiểm tra số lượng đến mỗi phút vào giờ cao điểm và khả năng giữ của buffer, có thể tưởng rằng trung bình ngày là đủ nhưng thực tế sẽ tắc nghẽn. Nếu ca đêm không có người xác nhận, không nên thay đổi logic vùng giữa mà cần quy định cách giữ hàng an toàn.

Giảm ngưỡng thường giúp phát hiện lỗi tốt hơn nhưng cũng tăng cảnh báo nhầm hàng tốt. Tăng ngưỡng thì ngược lại. Tuy nhiên, đường cong thay đổi còn phụ thuộc vào phân bố lớp, chất lượng ảnh, trạng thái hiệu chỉnh. Hãy vẽ biểu đồ với trục hoành là các giá trị ngưỡng, trục tung là tỷ lệ loại nhầm hàng tốt và tỷ lệ bỏ sót hàng lỗi, phân chia theo lớp khuyết tật và mã sản phẩm. Không có con số tuyệt đối “ngưỡng 0.7 là đúng”. So sánh các giá trị ứng viên trên cả bộ thử thách đã phê duyệt và điều kiện sản xuất thực tế.

Cố định ranh giới bằng bộ Golden/Challenge Set

Bộ Golden/Challenge Set là nhóm thử nghiệm cố định dùng để kiểm tra lại mỗi khi thay đổi ngưỡng hoặc mô hình. Nếu chỉ gồm các mẫu điển hình dễ đạt, sẽ không thấy ranh giới dễ bị phá vỡ nhất khi thay đổi. Với mỗi lớp khuyết tật, hãy đưa vào: hàng tốt rõ ràng, hàng tốt sát giới hạn cho phép, hàng lỗi ngay ngoài giới hạn, hàng lỗi rõ ràng, sản phẩm khó chụp nhưng hợp lệ. Nếu có thể, chuẩn bị mẫu vượt qua nhiều mã sản phẩm, lô, vật liệu, ca ngày/đêm, sau khi khởi động thiết bị, sau khi thay đồ gá. Đây là công việc chồng lấn giữa “mẫu giới hạn” và “ảnh AI dễ nhầm”, nhưng không được nhầm lẫn hai khái niệm này. Mẫu giới hạn là tiêu chí chất lượng, ảnh AI dễ nhầm là điểm yếu của mô hình.

Đáp án của bộ set không được lưu trong trí nhớ một người mà phải có hồ sơ phê duyệt của QA. Nếu có ý kiến bất đồng về mẫu, không được quyết định “OK theo đa số” ngay từ đầu mà phải kiểm tra lại tiêu chuẩn khách hàng và mẫu giới hạn. Ảnh chưa xác định giá trị thực có thể dùng cho học máy, nhưng không đưa vào mẫu số của chỉ số chấp nhận. Đăng ký hash ảnh, nơi lưu sản phẩm thực, công thức chiếu sáng, phiên bản chụp, căn cứ phán đoán, đảm bảo không thay đổi nội dung dưới cùng tên. Nếu không thể lưu sản phẩm thực lâu dài vì lý do bảo mật, hãy ghi lại điểm không thể đảm bảo đồng nhất khi chụp lại.

Hãy tách bộ challenge set đại diện cho tần suất phát sinh thực tế và bộ tăng cường các khuyết tật hiếm nhưng quan trọng. Bộ sau hữu ích để xác nhận năng lực phát hiện lỗi nghiêm trọng, nhưng không được dùng trực tiếp để quy đổi sang tỷ lệ dương tính trong sản xuất hàng loạt, vì tỷ lệ lỗi thực tế khác nhau. Khi ước tính tải kiểm tra lại hoặc chi phí loại nhầm, hãy dùng riêng tỷ lệ lỗi và cấu trúc mã sản phẩm của sản xuất hàng loạt. Không thể suy luận “một nửa thùng loại là hàng lỗi” chỉ từ kết quả bộ đánh giá có 50% lỗi nhân tạo.

Với lớp khuyết tật không đủ mẫu lỗi thực, không được che giấu số lượng ít. “0 trường hợp bỏ sót” khác với “xác suất bỏ sót bằng 0”. Ví dụ, nếu có 20 mẫu lỗi mà không bỏ sót trường hợp nào, vẫn chưa đủ để chứng minh xác suất bỏ sót rất nhỏ với độ chính xác cao. QA cần xác định số mẫu cần thiết và khoảng tin cậy, nếu có yêu cầu khách hàng thì tuân thủ. Không nên tính ảnh mở rộng (xoay, nhân bản) từ cùng sản phẩm thực là mẫu độc lập, vì tính độc lập thống kê thấp.

Đưa loại nhầm và lọt lỗi về cùng đơn vị bằng mô hình chi phí

Khi so sánh các ngưỡng ứng viên, hãy dùng cả số lượng và chi phí. Chi phí kỳ vọng đơn giản có thể tính: “số hàng tốt bị loại nhầm × đơn giá xử lý hàng tốt + số hàng lỗi bị lọt × đơn giá xử lý lọt lỗi + số kiểm tra lại × đơn giá kiểm tra lại + tổn thất dừng thiết bị”. Chi phí lọt lỗi có thể gồm trả hàng, phân loại lại, logistics, hàng thay thế, dừng dây chuyền, kiểm toán khách hàng…, nếu chưa xác định được thì ghi rõ giả định. Không được nới lỏng giới hạn chất lượng chỉ vì chi phí tối thiểu, mà phải so sánh chi phí giữa các ứng viên đã vượt qua các ràng buộc như giới hạn lọt lỗi.

Dưới đây là ví dụ giả định về cách tính, không phải số liệu thực tế của TOMAS TECH hay trung bình ngành. Giả sử kiểm tra 10.000 sản phẩm/ngày, có 100 hàng lỗi thực, 9.900 hàng tốt. Ứng viên A phát hiện 98/100 hàng lỗi, loại nhầm 198/9.900 hàng tốt, vùng giữa là 200 sản phẩm. Ứng viên B phát hiện 95/100 hàng lỗi, loại nhầm 99/9.900 hàng tốt, vùng giữa là 100 sản phẩm. Không giả định lạc quan rằng kiểm tra lại sẽ sửa hết sai sót. Để so sánh đơn giản, số lượng trong bảng là sau khi đã có phán đoán cuối cùng, giả định cả lọt lỗi và loại nhầm đều thực sự xảy ra. Đơn giá xử lý hàng tốt là 300 THB, lọt lỗi là 10.000 THB, kiểm tra lại là 25 THB, tổn thất dừng thiết bị là 0 cho cả hai.

Theo giả định này, ứng viên B thấp hơn 2.200 THB/ngày. Tuy nhiên, nếu hợp đồng quy định giới hạn lọt lỗi tối đa 2 sản phẩm/ngày, ứng viên B dù chi phí thấp vẫn không được chọn. Nếu đơn giá lọt lỗi tăng lên 20.000 THB, ứng viên A là 104.400 THB/ngày, B là 132.200 THB/ngày, thứ tự đảo ngược. Nếu chưa chắc chắn về đơn giá lọt lỗi, hãy trình bày nhiều kịch bản như 5.000, 10.000, 20.000 THB để quyết định. Đơn giá loại nhầm cũng khác nhau giữa linh kiện có thể tái sử dụng và linh kiện đã kiểm tra phá hủy. Việc ghi rõ nguồn đơn giá, thời gian áp dụng, người chịu trách nhiệm tính toán quan trọng hơn việc trình bày ROI đẹp mắt.

Công thức chi phí cần mở rộng theo từng lớp khuyết tật. Chi phí lọt lỗi của khuyết tật nghiêm trọng cao hơn, chi phí kiểm tra lại với ngoại quan nhẹ có thể tương đối cao. Nếu một trường hợp lọt lỗi dẫn đến phải phân loại lại cả lô, không thể biểu diễn bằng đơn giá trên từng sản phẩm. Hãy tách riêng xử lý lô trong trường hợp xấu nhất và trường hợp thông thường, trình bày cả hai tại cuộc họp quản lý. Thay vì “chế” giá để hợp lý hóa tự động hóa, hãy công khai biến số và cho thấy kết luận thay đổi thế nào khi giá trị thay đổi, sẽ giúp quyết định tốt hơn.

Tuyến kiểm tra lại không chỉ là “người nhìn lại”

Người kiểm tra lại cần được cung cấp sản phẩm thực, ảnh gốc, vùng phát hiện AI, mẫu giới hạn, lý do phán đoán trên cùng màn hình hoặc phiếu thao tác. Tuy nhiên, nếu hiển thị đáp án AI quá nổi bật, người thao tác dễ bị ảnh hưởng. Khi cần, hãy thử quy trình người tự phán đoán độc lập trước, sau đó mới xem điểm AI. Nếu phán đoán cuối cùng của người khác với AI, không chỉ ghi “đã sửa” mà phải lưu ai, căn cứ gì đã đảo ngược kết quả. Vì con người cũng có thể sai, nên với lỗi nghiêm trọng, có thể quy định kiểm tra lại bởi hai người hoặc kiểm tra chéo một số lượng nhất định.

Trong thiết kế tuyến kiểm tra lại, ưu tiên hàng đầu là hướng đi của sản phẩm. Sản phẩm AI phân vào vùng giữa không được trộn lẫn vật lý với hàng tốt. Không được trả về công đoạn sau khi chưa xác nhận trên thiết bị. Cảnh báo khi người thao tác mở nhầm mẫu giới hạn của mã sản phẩm khác. Sau kiểm tra lại, phải phân biệt rõ ràng nơi trả về hàng tốt và hàng lỗi. Dù mất kết nối mạng vẫn phải nhận diện được sản phẩm chưa xử lý. Kiểm tra điều này không chỉ trên giao diện phần mềm mà còn trên PLC, cổng, mã vạch, nhãn thùng.

Thiết kế đối chiếu kết quả kiểm tra theo mã sản phẩm/lô với điều kiện công đoạn sau được trình bày chi tiết trong Phân tích AI dữ liệu kiểm tra chất lượng. Ở đó chủ đề là phân tích nguyên nhân, nhưng độ chính xác nhận diện sản phẩm cũng quan trọng cho kiểm toán phát hiện sai. Nếu chỉ thu thập ảnh AI sai sau này mà không liên kết được với sản phẩm thực và xử lý của người, dữ liệu đó không hữu ích cho cải tiến.

Tại nhà máy Thái Lan, có thể tồn tại song song tiêu chí chất lượng bằng tiếng Nhật, hướng dẫn hiện trường bằng tiếng Thái, giao diện thiết bị bằng tiếng Anh. Hãy quản lý mã khuyết tật bằng ID duy nhất không phụ thuộc ngôn ngữ, liên kết tên ba ngôn ngữ và mẫu giới hạn để giải thích ổn định cho ca kíp và đối tác. Không được phán đoán chỉ dựa vào cảm nhận của từ dịch “vết xước”, “vết bẩn”, mà phải kèm ảnh và điều kiện đo. Với dây chuyền yêu cầu xác nhận nhanh, hãy tính cả công lao đào tạo người phán đoán, thời gian chờ khi cao điểm, khả năng thay thế nhân sự vào tính toán năng lực.

Quản lý mô hình, ngưỡng và mẫu chuẩn như một thay đổi thống nhất

Dù chỉ thay đổi ngưỡng mà không thay mô hình, số lượng loại nhầm hàng tốt và lọt lỗi cũng thay đổi. Phiếu thay đổi cần ghi rõ phiên bản hiện tại và đề xuất, lý do thay đổi, mã sản phẩm và lớp khuyết tật liên quan, có thay đổi dữ liệu học không, ngưỡng cũ/mới, kết quả challenge set, kết quả chạy lại log sản xuất, tải kiểm tra lại, phương án rollback, người phê duyệt, thời điểm áp dụng. Nếu thay đổi công thức chiếu sáng hoặc vị trí camera, cũng cần quản lý cùng khung vì thay đổi phân bố đầu vào. Điều kiện vật lý liên quan ảnh hãy tham khảo Lựa chọn chiếu sáng cho kiểm tra ngoại quan bằng AI tại Thái Lan, bài này tập trung vào quản lý phiên bản phía phán đoán.

Trước khi phê duyệt, hãy so sánh song song “mô hình mới vs mô hình hiện tại”. Chạy cả hai trên cùng ảnh, cùng giá trị thực, liệt kê từng sản phẩm: lỗi được cứu, loại nhầm tăng, lỗi mới bị bỏ sót. So sánh trung bình không phát hiện được trường hợp xấu nhất của lớp nghiêm trọng. Nếu hàng ranh giới từng qua ở phiên bản cũ bị loại ở phiên bản mới, không chỉ coi là “an toàn hơn” mà phải đánh giá lại khả năng kiểm tra lại và tỷ lệ đạt. Giữ tách biệt dữ liệu học và dữ liệu đánh giá, không quá khớp với bộ đánh giá khi xem kết quả.

Triển khai sản xuất không nhất thiết phải chuyển đổi một lần. Hãy chạy song song ghi nhận phán đoán mới/cũ (shadow mode), để cổng hoạt động theo phiên bản cũ. Sau đó, kích hoạt quy tắc mới trên mã sản phẩm, dây chuyền, hoặc thời gian giới hạn, khi có sự cố thì quay lại phiên bản cũ. Ở giai đoạn này, kiểm tra xem ID sản phẩm thực và log có khớp không, thời gian từ ảnh đến cổng có đủ không, có tồn đọng hàng cần xác nhận không. Dù ảnh giống nhau, nếu do trễ PLC hoặc truyền lại tín hiệu mà loại nhầm sản phẩm, đó là lỗi hệ thống, không thể hiện trên bảng điểm mô hình.

Sau thay đổi, hãy theo dõi tỷ lệ loại nhầm, bỏ sót, tỷ lệ cần xác nhận, độ trễ phán đoán, tỷ lệ thiếu ảnh, tỷ lệ bị đảo ngược bởi người theo từng tuần hoặc lô. Đặt trước ai sẽ điều tra khi vượt ngưỡng, điều kiện dừng xuất hàng hoặc quay lại kiểm tra thủ công 100%, điều kiện cần liên hệ khách hàng. NIST AI RMF đưa ra khung quản lý rủi ro dựa trên việc đo lường thay đổi hiệu suất từ dữ liệu thực tế. Đây không phải nghĩa vụ pháp lý cho nhà máy Nhật/Thái, nhưng là khung tham khảo hữu ích cho thiết kế quản lý thay đổi.

Tiêu chí chấp nhận FAT/SAT: Hợp đồng cả số liệu và hành động

Kiểm tra chấp nhận tại nhà máy (FAT) thực hiện ở môi trường nhà cung cấp, kiểm tra chấp nhận tại hiện trường (SAT) thực hiện trên dây chuyền thực tế. Dù FAT phân loại đúng cùng ảnh, vẫn không đảm bảo tốc độ vận chuyển, rung động, tư thế sản phẩm, biến động chiếu sáng, kết nối PLC tại hiện trường. Hãy phân biệt vai trò hai thử nghiệm, ghi rõ điều kiện đạt/trượt từ trước. Dựa trên các điểm chính của PoC/RFP trong hướng dẫn tổng thể về máy kiểm tra, bài này tập trung vào các mục tiêu đặc thù giảm phát hiện sai.

Tiêu chí số liệu chấp nhận không thể chỉ ghi “độ chính xác ≥99%”. Ví dụ, hợp đồng có thể quy định: không bỏ sót lỗi nghiêm trọng trong challenge set, tỷ lệ bỏ sót lỗi chính không vượt quá giới hạn đã thống nhất, tỷ lệ loại nhầm hàng tốt không vượt quá giới hạn theo mã sản phẩm, tỷ lệ cần xác nhận không vượt quá khả năng xử lý theo ca. Tuy nhiên, ý nghĩa “0 trường hợp” thay đổi theo số mẫu và cấu trúc bộ set. Không lấy số liệu ví dụ làm giá trị đảm bảo cho nhà máy, mà phải thống nhất dựa trên yêu cầu khách hàng, rủi ro công đoạn, số mẫu thực có thể sử dụng. Chỉ số phải ghi rõ thời gian đo, mẫu số, điều kiện loại trừ, điều kiện kiểm tra lại mới thành hợp đồng.

Trong thử nghiệm, thường bỏ qua xử lý khi không thể chụp ảnh kiểm tra. Ảnh AI phán đoán “hàng tốt” khác với sản phẩm không chụp được ảnh. Lỗi chụp ảnh phải cách ly hoặc dừng bằng mã riêng, không trộn vào tỷ lệ hàng tốt. Khi số lượng cần xác nhận vượt ngưỡng, hãy kiểm tra tải cổng có giữ đúng sản phẩm không. Dù tín hiệu reject kịp thời, nếu thời gian đóng mở cổng khí nén hoặc khoảng cách giữa sản phẩm không đủ, sản phẩm thực sẽ vào nhầm thùng.

ISO 2859-1:2026 quy định phương pháp kiểm tra lấy mẫu theo AQL cho lô sản phẩm. Tuy nhiên, không thể tự động xác định ngưỡng AI từng ảnh hoặc giới hạn bỏ sót theo lớp khuyết tật từ bảng AQL này. Kiểm tra chấp nhận lô và phán đoán AI từng sản phẩm là hai đơn vị khác nhau. Nếu kiểm tra chấp nhận với khách hàng dùng phương pháp lấy mẫu, hãy tuân thủ hợp đồng đó, còn kiểm tra hiệu suất thiết bị AI phải định nghĩa riêng. Ghi rõ sự khác biệt này trong RFP và biên bản họp để tránh nhà cung cấp giải thích nhầm “đạt AQL là không có vấn đề với AI”.

Trình tự triển khai: Những gì cần thống nhất trong 30 ngày, những gì phải chứng minh bằng sản xuất

Điều cần tránh nhất là trình tự “xem demo thiết bị trước, sau đó mới tìm hiểu tiêu chí xử lý vết xước tại nhà máy”. Nếu nhãn đúng của demo khác với tiêu chí xuất hàng thực tế, dù điểm số cao cũng không đủ làm bằng chứng quyết định đầu tư. Cần tách biệt khả năng sửa lỗi trong công đoạn và khả năng xuất hàng cuối cùng. Sản phẩm có thể kiểm tra lại ở công đoạn sửa lỗi, nhưng sau đóng gói có thể phát sinh chi phí mở thùng. Cùng một ảnh, xử lý tối ưu thay đổi theo vị trí công đoạn. Kế hoạch triển khai cần ghi rõ vị trí chụp ảnh, vị trí phân nhánh, khả năng cứu vãn ở công đoạn sau.

Tuần đầu tiên, QA, sản xuất, thiết bị, IT cùng tập trung vào một mã sản phẩm/một công đoạn, xác định phiên bản sổ tay khuyết tật và mẫu giới hạn. Tiếp theo, xác định phương pháp nhận diện sản phẩm thực và chuỗi dữ liệu từ phán đoán AI đến xử lý cuối cùng. Dù chưa tính chính xác chi phí, cần xác định chi phí nào lớn, ai sẽ ước tính. Nếu chưa thống nhất trước khi đề xuất thiết bị, dù demo mô hình thành công, hiện trường vẫn sẽ dừng lại ở “chọn NG thế nào”.

Tuần thứ hai, thu thập riêng ảnh đại diện phân bố sản xuất hàng loạt và bộ challenge set gồm khuyết tật ranh giới, hiếm. Chia dữ liệu theo sản phẩm hoặc lô, không để ảnh chụp liên tiếp của cùng sản phẩm rơi vào cả tập học và tập đánh giá. Sau khi QA phê duyệt giá trị thực, đưa ra nhiều ngưỡng ứng viên theo lớp khuyết tật, đồng thời xem tỷ lệ loại nhầm hàng tốt, bỏ sót lỗi nghiêm trọng, số lượng cần xác nhận. Không trộn lẫn “giả định” và “thực đo” trong cùng dòng tính toán, hãy tách thành cột hoặc màu khác nhau.

Tuần thứ ba, kiểm tra luồng sản phẩm thực trên tuyến kiểm tra lại, thử tải cao điểm xem đủ người và buffer không. Bao gồm tín hiệu phân nhánh của máy, thao tác xác nhận trên terminal, giữ lô, sản phẩm chưa xử lý qua ca, mất kết nối. Dù hệ thống hiển thị “cần xác nhận”, nếu thùng thực bị trộn lẫn thì thiết kế thất bại. Đặc biệt với dây chuyền trộn nhiều mã sản phẩm, cần xác nhận trong vận hành rằng recipe mã sản phẩm và metadata ảnh khớp nhau.

Tuần thứ tư, tập hợp bảng chấp nhận FAT/SAT, phiếu thay đổi, quy trình rollback, màn hình giám sát sản xuất thành một bộ. Khi bắt đầu sản xuất hàng loạt, ghi lại phiên bản đã phê duyệt, thời điểm bắt đầu, lô áp dụng, người chịu trách nhiệm giám sát. Vài lô đầu nên kiểm tra thủ công toàn bộ hoặc tần suất cao, xây dựng căn cứ tin tưởng AI từ lô thực tế. Các phát hiện sai trong giai đoạn này không đưa ngay vào học máy, mà phải xác nhận giá trị thực và thực hiện quy trình thay đổi trước khi cập nhật phiên bản mới. Có thể vừa tăng tốc cải tiến, vừa không tự ý thay đổi hiệu suất đã chấp nhận.

Chủ đề review hàng ngày: “Vì sao thay đổi xử lý” quan trọng hơn “độ chính xác hôm qua”

Trong các buổi review ngắn đầu giai đoạn sản xuất hàng loạt, không chỉ báo cáo một con số độ chính xác hôm qua rồi kết thúc. Hãy bày ra bàn một số sản phẩm thực bị loại nhầm, toàn bộ sản phẩm lỗi bị bỏ sót, lý do trả lại hàng cần xác nhận về hàng tốt, ảnh không thể phán đoán, trường hợp không khớp giữa cổng và log. Với từng trường hợp, tạm xác định nguyên nhân: diễn giải tiêu chí chất lượng, trạng thái chụp ảnh, nhận diện mô hình, hoạt động PLC/vận chuyển, xử lý của người. Nếu nguyên nhân do chụp ảnh, tăng ảnh học máy cũng không ngăn tái phát. Nếu do không khớp mẫu giới hạn, chỉ điều chỉnh ngưỡng cũng không thống nhất ý kiến hiện trường.

Sau review, nhất định phải quyết định “ai, làm gì, đến khi nào xác nhận”. Ví dụ, QA xác định giá trị thực sản phẩm ranh giới, kỹ thuật kiểm tra dòng điện chiếu sáng cùng thời điểm, IT đối chiếu ID ảnh và tín hiệu loại của PLC, sản xuất đo số lượng chờ xác nhận tối đa. Dù hôm sau lại có loại nhầm tương tự, nếu đã ghi nhận nguyên nhân và xử lý thì có thể cải tiến. Nếu chỉ lưu ảnh phát hiện sai vào thư mục, hành động không đến được người liên quan. Hàng tuần, hãy xem số lượng theo lớp khuyết tật và thay đổi cấu trúc mã sản phẩm, phân biệt cải thiện do thay đổi mẫu số và cải thiện thực sự.

Phiếu yêu cầu tối thiểu gửi nhà cung cấp

Khi yêu cầu báo giá, không chỉ ghi “muốn giảm phát hiện sai” mà phải liệt kê rõ sản phẩm mong muốn nhận lại khi thử nghiệm. Tối thiểu gồm: file CSV điểm số từng sản phẩm, bảng đối chiếu ảnh và giá trị thực, ma trận nhầm lẫn theo lớp khuyết tật, số lượng loại nhầm/bỏ sót/cần xác nhận theo từng ngưỡng ứng viên, phân bố thời gian trễ, hành vi khi mất kết nối, log hoạt động cổng, phiên bản mô hình và recipe, phương pháp thử lại, thời gian rollback về phiên bản cũ. Báo giá không chỉ gồm camera, GPU mà còn cả băng tải cách ly, cổng phân nhánh, terminal kiểm tra lại, kết nối MES, bảo trì, đào tạo hiện trường, lưu mẫu, ai chịu trách nhiệm cung cấp. Cần xác nhận trước hợp đồng số lần học lại/điều chỉnh khi không đạt kiểm tra chấp nhận.

Nhà máy cần chuẩn bị: tiêu chuẩn sản phẩm, mẫu giới hạn, lớp khuyết tật, tốc độ xử lý cần thiết, sơ đồ vận chuyển sản phẩm thực, số lượng loại nhầm/kiểm tra lại hiện có. Nếu chưa đủ dữ liệu, hãy ghi rõ và lên kế hoạch thu thập qua PoC. Nếu “không có ảnh quá khứ nhưng muốn ký hợp đồng đảm bảo độ chính xác trước”, sẽ dẫn đến kỳ vọng lệch nhau. Không coi số liệu tham khảo của nhà cung cấp là có thể tái hiện trên vật liệu, bề mặt, tần suất khuyết tật, điều kiện chụp ảnh của nhà máy mình, mà phải lấy thử nghiệm thực tế làm điều kiện. Có phiếu yêu cầu như vậy sẽ giúp so sánh các đề xuất khác nhau trên cùng tiêu chí.

Trong cuộc họp cuối cùng trước khi duyệt sản xuất hàng loạt, mục tiêu là trả lời bằng văn bản năm câu hỏi. Thứ nhất, ai đã phê duyệt mẫu giới hạn nào làm bản chuẩn được kiểm soát? Thứ hai, so với bản chuẩn đó, đã quan sát bao nhiêu lỗi lọt qua và bao nhiêu sản phẩm tốt bị loại nhầm cho từng loại lỗi? Thứ ba, sản phẩm cần kiểm tra lại đi vào thùng nào, ai đưa ra quyết định cuối cùng trong bao nhiêu phút, và cơ chế nào ngăn sản phẩm chưa được xác nhận đi xuất hàng? Thứ tư, có thể truy lại phiên bản mô hình, ngưỡng, ánh sáng và công thức theo mã hàng ở cấp từng sản phẩm hay không? Thứ năm, khi thiếu ảnh hoặc mất liên lạc, những sản phẩm thực nào bị giữ lại và ai phê duyệt phục hồi? Nếu chưa trả lời được, độ chính xác trung bình cao vẫn không đủ để nhận rủi ro chất lượng của sản xuất hàng loạt. Nếu trả lời được, có thể vận hành giới hạn một cách an toàn ngay cả khi mô hình vẫn còn khả năng cải thiện.

Cũng cần xác định ranh giới chi phí và trách nhiệm sau nghiệm thu. Việc huấn luyện bổ sung để giảm loại nhầm có nằm trong hợp đồng bảo trì không? Nếu khách hàng đổi mẫu giới hạn, ai trả chi phí xác nhận lại? Ai sở hữu ảnh và nhật ký quyết định, và lưu giữ bao lâu? Khi mở rộng sang mã sản phẩm khác, không dùng nguyên kết quả nghiệm thu của mã đầu tiên. Độ phản xạ bề mặt, hình dạng, tư thế trên băng chuyền và tần suất lỗi có thể thay đổi. Ít nhất phải đánh giá phần khác biệt, rồi phê duyệt lại loại lỗi và mẫu ranh giới. Ghi những quyết định này trong phiếu thay đổi để tiếp tục cải tiến mà vẫn giải thích được bộ phận đảm bảo chất lượng đã phê duyệt điều gì.

Trước khi vận hành, hãy lập sơ đồ phê duyệt cho các tình huống ngoại lệ. Nếu nghi ngờ một lỗi nghiêm trọng đã lọt qua, bộ phận thiết bị không được tự hạ ngưỡng rồi tiếp tục chạy. Cần cách ly lô liên quan để bộ phận đảm bảo chất lượng xác định phạm vi ảnh hưởng. Khi số sản phẩm tốt bị loại nhầm tăng đột ngột, bộ phận sản xuất cũng không được tự thu hẹp vùng kiểm tra lại. Hãy tách bạch sự thay đổi của ảnh, sự thay đổi của chuẩn đánh giá và lỗi nhận diện sản phẩm trên băng chuyền, rồi quyết định khôi phục thiết lập cũ đã duyệt hay quay về kiểm tra thủ công. Lưu người liên hệ chính, người thay thế, quyền quyết định của ca đêm và điều kiện thông báo khách hàng trên tài liệu giấy có thể xem được cả khi thiết bị đầu cuối hoặc mạng gặp sự cố.

Trong buổi rà soát hằng tháng, câu hỏi chính không phải đã đổi ngưỡng bao nhiêu lần mà là sau mỗi lần đổi đã đánh giá lại cả lỗi lọt qua lẫn loại nhầm hay chưa. Nếu độ chính xác bề ngoài cải thiện nhưng số lỗi hiếm quá ít để kiểm chứng, phải ghi nhận khoảng trống bằng chứng. Ưu tiên cải tiến theo tác động tới khách hàng, công kiểm tra lại, tổn thất hàng tốt và thời gian dừng máy. Chỉ khi duy trì các ghi chép này, nhóm mới giải thích cụ thể được điểm giống và khác khi mở rộng sang mã sản phẩm mới.

Câu hỏi thường gặp

Nếu tăng ngưỡng, có loại bỏ được phát hiện sai trong kiểm tra ngoại quan AI không?

Với cùng mô hình và ảnh, tăng ngưỡng thường giúp giảm số lượng hàng tốt bị loại nhầm. Tuy nhiên, đồng thời có thể tăng số lượng hàng lỗi bị lọt. Hãy kiểm tra đường cong theo lớp khuyết tật, giới hạn lỗi nghiêm trọng, khả năng kiểm tra lại trước khi điều chỉnh. Nếu điều kiện chụp ảnh thay đổi làm phân bố điểm số dịch chuyển, không nên chỉ điều chỉnh ngưỡng mà cần kiểm tra lại ảnh và trạng thái thiết bị.

Cần bao nhiêu ảnh thử nghiệm để giảm phát hiện sai trong kiểm tra ngoại quan?

Không có số lượng cố định cho mọi trường hợp. Số lượng phụ thuộc vào lớp khuyết tật cần kiểm chứng, tỷ lệ bỏ sót chấp nhận được, mức tin cậy, sự đa dạng mã sản phẩm/lô. Kết quả “không bỏ sót với 20 mẫu lỗi” và “không bỏ sót với hàng ngàn mẫu lỗi độc lập” có giá trị chứng minh khác nhau. Cần lập kế hoạch thống kê và định nghĩa giá trị thực trước, không tính ảnh chụp liên tiếp của cùng sản phẩm là mẫu độc lập.

Có thể giao việc thiết lập ngưỡng kiểm tra ảnh cho nhà cung cấp không?

Nhà cung cấp có thể đề xuất giá trị ứng viên và đường cong hiệu suất. Tuy nhiên, giới hạn lọt lỗi, tổn thất hàng tốt, công sức kiểm tra lại là điều kiện của nhà máy và khách hàng. QA phê duyệt mẫu giới hạn và lớp khuyết tật, sản xuất xác nhận năng lực xử lý, thiết bị/IT kiểm tra hoạt động và log, sau đó cùng quyết định giá trị áp dụng. Quyền thay đổi thiết lập và lịch sử phê duyệt cũng cần được quản lý bởi nhà máy.

Có thể chỉ dùng tổng độ chính xác làm tiêu chí chấp nhận kiểm tra AI không?

Không nên. Với dây chuyền chủ yếu là hàng tốt, tổng độ chính xác cao vẫn có thể che giấu bỏ sót lỗi nghiêm trọng. Hãy kết hợp chỉ số bỏ sót theo lớp khuyết tật, loại nhầm hàng tốt, tỷ lệ cần xác nhận, trường hợp nhầm cổng thực tế, thiếu ảnh, điều kiện phục hồi. Ghi rõ mẫu số và số lượng thử nghiệm, tách biệt kết quả phát lại ảnh tại FAT và kết quả thực tế tại SAT.

Tổng kết

Giải pháp giảm phát hiện sai trong kiểm tra ngoại quan AI không chỉ là điều chỉnh điểm số mô hình. Đó là thiết kế vận hành cố định tiêu chí chất lượng theo lớp khuyết tật, đếm riêng loại nhầm hàng tốt và lọt lỗi, cách ly từng sản phẩm cần xác nhận, quản lý phiên bản khi thay đổi ngưỡng. Đánh giá riêng bộ challenge set và phân bố sản xuất, ghi rõ giả định chi phí, xác nhận từ phán đoán ảnh đến hoạt động cổng tại FAT và SAT, sẽ giúp giải thích rõ trade-off giữa loại nhầm và bỏ sót.

Nếu tại nhà máy Thái Lan, số lượng loại nhầm trên dây chuyền hiện tại tăng, hoặc đang ở giai đoạn lập bảng chấp nhận cho thiết bị kiểm tra AI mới, dù chưa có đủ sổ tay khuyết tật hay log phán đoán hiện tại, vẫn có thể liên hệ tư vấn với chúng tôi. Có thể bắt đầu từ việc cùng xác định mã sản phẩm, loại khuyết tật không muốn lọt, thời gian có thể kiểm tra lại.

Tham khảo

• scikit-learn: Tuning the decision threshold for class prediction — Giải thích tách biệt điểm số và hành động, ảnh hưởng của thay đổi ngưỡng đến chỉ số.
• scikit-learn: Post-tuning the decision threshold for cost-sensitive learning — Ví dụ đưa chi phí vào hàm đánh giá. Chi phí nhà máy trong bài là giả định riêng.
• NIST AI Risk Management Framework Core — Khung quản lý rủi ro dựa trên đo lường thay đổi hiệu suất từ dữ liệu vận hành.
• ISO 2859-1:2026 — Phương pháp kiểm tra lấy mẫu theo AQL cho lô sản phẩm. Phân biệt với tiêu chí AI từng ảnh.
• ISO 9001:2026 overview — Tổng quan hệ thống quản lý chất lượng phiên bản 2026. Không khẳng định số liệu FAT/SAT cụ thể trong bài là yêu cầu của tiêu chuẩn này.
• ISO 9001 Auditing Practices Group: Monitoring and measuring resources — Giải thích kiểm toán về việc nguồn lực đo lường hỗ trợ kết quả hiệu quả.