Trước khi triển khai gán nhãn cho AI kiểm tra ngoại quan, nhà máy cần quyết định nhiều việc hơn số ảnh sẽ dán nhãn. Xử lý thế nào với vết xước sát giới hạn của mẫu chuẩn? Ai phân xử khi hai kiểm tra viên cho kết luận khác nhau? Quyết định cuối cùng được ghi vào phiên bản dữ liệu nào? Nếu các câu hỏi ấy chưa có lời giải, một tập dữ liệu lớn chỉ có thể sao chép sự thiếu nhất quán của quy trình kiểm tra. Bài viết này dành cho nhóm đảm bảo chất lượng, kỹ thuật sản xuất và IT tại nhà máy ở Thái Lan, tập trung vào hệ phân loại lỗi, phân xử bất đồng, bộ mẫu chuẩn, quản lý phiên bản, RFP và nghiệm thu.
Thiết kế camera, chiếu sáng và toàn bộ trạm kiểm tra được trình bày trong hướng dẫn AI kiểm tra ngoại quan tại nhà máy. Bài kiểm tra ngoại quan AI trên dây chuyền tốc độ cao tập trung vào chụp ảnh và thời gian chu kỳ. Phạm vi ở đây là ý nghĩa mà con người gán cho những bức ảnh đã chụp. Cần làm cho tiêu chí đánh giá có thể lặp lại trước khi tăng thêm dữ liệu huấn luyện.
Xác định sản phẩm bàn giao của công việc gán nhãn
Nhãn không chỉ là một ký hiệu trên ảnh
Gán nhãn là ghi lại ý nghĩa do con người quyết định cho một ảnh hoặc đối tượng trong ảnh ở dạng máy đọc được. Với nhà máy, tệp chỉ ghi “NG” thường chưa đủ. Một bản ghi có thể cần liên kết ảnh gốc, mã chi tiết và công đoạn, loại lỗi, vị trí, phạm vi, mức độ, kết luận cuối, lý do, người gán, người duyệt và phiên bản tiêu chí kiểm tra. Khi yêu cầu của khách hàng hoặc bản vẽ thay đổi, cùng một ảnh có thể dẫn đến kết luận khác. Nếu chỉ giữ ảnh làm bản gốc, nhà máy sẽ mất lý do của thay đổi đó.
Hãy tách ba câu hỏi: Có nhìn thấy dấu vết hay không? Dấu vết thuộc loại nào? Chi tiết có được xuất đi không? Một vết xước nhẹ có thể tồn tại thật nhưng vẫn nằm trong mẫu giới hạn cho phép. Nếu gộp hiện tượng quan sát với quyết định xuất hàng vào một nhãn, không thể biết mô hình đang học hình ảnh vật lý hay quy tắc chấp nhận hiện tại. Cấu trúc nhãn và RFP nên có trường riêng cho quan sát, mức độ và quyết định.
Cần xác định đơn vị công việc. Một ảnh có thể chứa nhiều chi tiết, một chi tiết có thể được chụp nhiều mặt, và quyết định đôi khi áp dụng cho cả lô. Phân biệt mã ảnh, mã chi tiết, mặt chụp, thời điểm chụp và mã lô, đồng thời định nghĩa thế nào là một tác vụ gán nhãn. Chúng quyết định mẫu số tính giá, tỷ lệ duyệt kép và số bản ghi thiếu. Nếu để đến sau khi sản xuất nhãn mới thống nhất, khối lượng bàn giao sẽ gây tranh chấp.
Chọn phân loại, hộp giới hạn hoặc phân đoạn theo mục tiêu
Phân loại cả ảnh cho biết ảnh có lỗi hay không, nhưng không chỉ ra vị trí. Hộp giới hạn xác định vị trí, song chứa nhiều nền đối với vết xước mảnh hoặc vết bẩn không đều. Phân đoạn từng pixel cho phép đo diện tích và đường biên nhưng tốn công hơn và dễ phát sinh bất đồng ở mép. Chọn phương pháp dựa trên chỉ tiêu nghiệm thu. Nếu chỉ cần quyết định xuất hàng, kết luận cấp ảnh có thể là trọng tâm; nếu so chiều dài vết xước với mẫu giới hạn, cần vị trí và đường bao.
Tách lỗi của sản phẩm khỏi lỗi chụp ảnh. Ảnh nhòe, thiếu sáng, đặt sai vị trí hoặc bẩn ống kính không được âm thầm đưa vào nhãn “tốt” hay “xước”. Dùng trạng thái KHÔNG THỂ KẾT LUẬN và CHỤP LẠI. Đưa tất cả ảnh kém vào NG làm sai thống kê lỗi; đưa vào OK lại che giấu lỗi camera. Nếu máy không chụp lại được, quy định cách cách ly sản phẩm và kiểm tra thủ công.
Lập hệ phân loại lỗi từ tiêu chuẩn kiểm tra
Thống nhất các tên gọi trước khi tạo lớp
Cùng một vết dạng đường có thể được gọi là vết cọ, vết xước hoặc vệt trong các bộ phận khác nhau. QA cần đối chiếu bản vẽ, yêu cầu khách hàng, phiếu kiểm tra, mẫu lỗi thực và mẫu giới hạn để lập từ điển thuật ngữ. Kiểm tra xem một từ có đang bao trùm nhiều hiện tượng hay nhiều từ chỉ cùng hiện tượng. Mục tiêu là giữ được ngôn ngữ của hiện trường nhưng ánh xạ các từ đồng nghĩa về mã đánh giá ổn định.
Giữ cấu trúc phân cấp vừa đủ đơn giản. Tầng đầu có thể gồm vết dạng đường, dạng điểm, sứt mẻ, bám bẩn, thiếu chi tiết và lỗi chụp ảnh. Chỉ thêm tầng tiếp theo khi vật liệu hoặc cơ chế gây lỗi làm thay đổi hành động xử lý. Bắt người gán phân biệt hàng chục loại từ đầu thường làm tăng bất đồng. Nhóm “khác” cần bắt buộc nêu lý do và được rà soát định kỳ, nếu không khoảng trống của hệ phân loại sẽ bị che mất. Ngưỡng thêm hoặc gộp nhóm do nhà máy quyết định theo rủi ro sản phẩm, không lấy một con số chung từ bài viết.
OK, NG và REVIEW là trạng thái quyết định, không phải loại lỗi. Một vết có thể được ghi đúng loại nhưng chi tiết vẫn đạt OK. Trường hợp sát ranh giới chuyển REVIEW. Không dùng cùng một lý do REVIEW cho việc chờ khách hàng phê duyệt và chờ chụp lại. Mã lý do riêng giúp xác định nguồn bất định là mô hình, quy tắc chưa rõ hay ảnh đầu vào không đạt.
Lưu trường hợp ranh giới bằng văn bản và hình ảnh
Hướng dẫn gán nhãn cần nói cả những gì phải đánh dấu và những gì không được đánh dấu. Nếu dấu cổng phun trên chi tiết nhựa được chấp nhận, hãy chỉ rõ cách phân biệt nó với bám bẩn hoặc sứt mẻ, kèm vị trí và hình dạng được phép. Phản chiếu trên mặt bóng có thể giống vết xước ở một góc chụp. Nếu một ảnh không đủ kết luận, cần tuyến chụp lại hoặc đánh giá bằng người. Lưu ảnh mẫu giới hạn cùng vùng phóng to, điều kiện chiếu sáng, mã chi tiết và lý do kết luận.
Quy định cả tình huống nhiều lỗi trong cùng ảnh. Có cho phép hộp chồng nhau không? Ghi tất cả lỗi hay chỉ lỗi chính? Hai vết gần nhau là một vùng hay hai vùng? Có đưa bóng vào đường biên không? Những quy tắc ít nổi bật này giúp các ca làm việc và nhà cung cấp khác nhau tạo dữ liệu nhất quán. Bàn giao hướng dẫn, ví dụ đúng, phản ví dụ và lịch sử chỉnh sửa như một bộ có phiên bản.
Trong nhà máy tại Thái Lan dùng tiếng Nhật, Thái và Anh, mã nhãn không nên phụ thuộc ngôn ngữ. Tên hiển thị có thể dịch, nhưng ID, định nghĩa và ảnh ví dụ phải thống nhất. Từ dịch của “vết bẩn” không nhất thiết có phạm vi giống hoàn toàn. Hãy để người kiểm tra dùng hai ngôn ngữ đánh giá cùng một ảnh, rồi đưa điểm khác biệt về sửa định nghĩa. Người phụ trách chất lượng, không riêng người dịch, phải đưa ra quyết định cuối.
Đo bất đồng và thiết kế tuyến phân xử
Không chỉ nhìn tỷ lệ đồng thuận tổng
Trong lô thử đầu, yêu cầu ít nhất hai người gán nhãn độc lập cho cùng ảnh mà không thấy câu trả lời của nhau. Phân tích theo loại lỗi, mã chi tiết, điều kiện sáng và trường hợp ranh giới. Tỷ lệ đồng thuận chung có thể cao do ảnh sản phẩm tốt dễ đánh giá chiếm đa số, trong khi lỗi quan trọng vẫn gây tranh cãi. Ghi riêng mức nhất trí về OK/NG, loại lỗi, vùng vị trí và tỷ lệ không thể kết luận. Nếu so hộp hoặc vùng, thống nhất chỉ số chấm điểm trước.
Không phải bất đồng nào cũng giải quyết bằng đa số. Nếu hai người nói OK nhưng người thứ ba thấy vết sứt bị tiêu chuẩn khách hàng cấm, QA phải kiểm tra chi tiết, quy tắc và ảnh. Tài liệu gán nhãn theo đồng thuận của CVAT mô tả việc gộp đánh giá và chuyển trường hợp đồng thuận thấp sang xem xét. Phiếu bầu của công cụ không thể thay trách nhiệm về chất lượng.
Nhật ký phân xử nên giữ các quyết định ban đầu, kết luận cuối, người quyết định, phiên bản tiêu chí, chứng cứ và việc có cần sửa hướng dẫn hay không. Bất đồng lặp lại có thể chỉ ra định nghĩa thiếu, mẫu giới hạn chưa đủ, ảnh không ổn định hoặc yêu cầu sản phẩm chưa được giải quyết. Khi sửa hướng dẫn, quyết định phạm vi ảnh cũ cần đánh giá lại. Nếu quy tắc mới chỉ áp dụng cho ảnh tương lai, cùng một lỗi có thể mang mã khác nhau tùy thời kỳ.
Xác định thẩm quyền duyệt và điều kiện tạm dừng
Tách vai trò người gán nhãn, người duyệt bước đầu và người phân xử cuối. Nhà cung cấp tự phê duyệt nội bộ không chứng minh được sự phù hợp với tiêu chí của nhà máy. QA nhà máy sở hữu quyết định ranh giới và rủi ro cao; kỹ thuật sản xuất điều tra vấn đề chụp ảnh; IT lưu phiên bản dữ liệu và nhật ký kiểm toán. Chỉ định người thay thế và nơi giữ ảnh chờ quyết định.
Thống nhất điều kiện dừng trước khi làm hàng loạt. Xuất hiện nhiều lỗi loại mới, các bộ phận giải thích tiêu chuẩn khác nhau hoặc cấu hình chụp ảnh thay đổi đều có thể cần tạm dừng lô để sửa hướng dẫn. Ngưỡng phù hợp phụ thuộc rủi ro của từng dây chuyền, vì vậy nên để nhà máy và nhà cung cấp thống nhất trong RFP. “Sẽ sửa sau” mà không có giới hạn khiến phạm vi làm lại không thể dự tính.
Quản lý bộ mẫu chuẩn làm thước đo đánh giá
Có cả trường hợp sát ngưỡng và lỗi chụp ảnh
Bộ mẫu chuẩn, hay golden set, là nhóm ảnh có câu trả lời được người có thẩm quyền xác nhận kèm bằng chứng; không chỉ là nhãn của một kiểm tra viên. Bao gồm mẫu tốt và lỗi rõ ràng, trường hợp sát ranh giới, lỗi giống nhau, ảnh chụp kém và biến thiên theo mã chi tiết, lô, ca, điều kiện sáng. Lỗi hiếm có thể thiếu ví dụ thật. Hãy thể hiện khoảng trống đó thay vì âm thầm lấp bằng ảnh tổng hợp. Bài viết về dữ liệu tổng hợp trong AI sản xuất bàn riêng về công dụng và giới hạn kiểm chứng.
Tài liệu kiểm soát chất lượng của CVAT mô tả tác vụ ground truth và tập validation để đối chiếu nhãn. Về vận hành, cần tách việc tạo và phê duyệt đáp án tham chiếu khỏi công việc gán nhãn thường ngày, ghi ai phê duyệt và khi nào. Nếu âm thầm sửa golden set giữa dự án, điểm của lô đầu và lô sau không còn so được. Khi cần cập nhật, tạo phiên bản mới, ghi lý do và giữ kết quả đánh giá cũ.
Tách ảnh đánh giá khỏi ảnh huấn luyện. Những ảnh gần như giống nhau của cùng một chi tiết nếu nằm cả hai phía có thể làm kết quả quá lạc quan. Chọn đơn vị chia theo lô, chi tiết, ngày chụp, camera hoặc mã sản phẩm tùy bài toán. Nêu rõ sản phẩm và điều kiện ngoài phạm vi thử nghiệm; không suy rộng kết quả đạt sang đó. Khi phát hiện ảnh trùng hoặc không sử dụng được, áp dụng quy tắc loại trừ được ghi trước và lưu số lượng.
Giữ lại sự bất định của đáp án chuẩn
Không cần ép mọi ảnh thành OK hoặc NG. “Cần xem mẫu vật,” “chờ khách hàng phê duyệt” và “không thể xác định từ ảnh” có thể là trạng thái riêng. Tách tập nghiệm thu đã xác nhận và đóng băng khỏi tập chờ đang phát triển quy tắc. Giữ tập chờ để cải tiến mẫu giới hạn hoặc hệ thống chụp ảnh lần sau.
Đồng thời tách đánh giá mô hình khỏi đánh giá chất lượng nhãn. Kết quả khác golden set có thể do mô hình, camera, nhãn hoặc tiêu chí. Khi đáp án tham chiếu bị phản đối, đừng sửa nó cho khớp dự đoán; chuyển sang QA độc lập. NIST AI RMF Measure playbook nhấn mạnh chất lượng và tính đại diện của dữ liệu ảnh hưởng trực tiếp đến đánh giá AI. Nhà máy nên biến nguyên tắc đó thành hồ sơ về điều kiện kiểm tra và thẩm quyền kết luận.
Quản lý phiên bản đồng thời cho ảnh, nhãn và tiêu chí
Một tên “dataset v2” là chưa đủ
Ít nhất cần phiên bản cho ảnh thô, bước tiền xử lý, hệ phân loại, hướng dẫn, từng nhãn, golden set và cách chia train/validation/acceptance. Có phiên bản mô hình nhưng nhãn huấn luyện đã bị sửa về sau thì không thể tái lập thử nghiệm. MLflow Dataset Tracking giải thích cách theo dõi nguồn gốc, phiên bản và quan hệ giữa dữ liệu với thí nghiệm. Không bắt buộc dùng công cụ ấy, nhưng mỗi kết quả phải gắn với bộ ảnh, phiên bản nhãn và tiêu chí cụ thể.
Đừng ghi đè ảnh gốc. Lưu ID ảnh ổn định, checksum, điều kiện chụp và ngày nhập. Ảnh phát sinh từ chỉnh sáng, cắt hoặc xoay phải có đường về ảnh gốc, cách xử lý và phiên bản. Đừng dùng tên tệp làm liên kết duy nhất với chi tiết, vì đổi quy tắc đặt tên sẽ làm đứt quan hệ. Sử dụng ID ảnh và ID chi tiết riêng, không phụ thuộc vị trí lưu.
Với thay đổi nhãn, giữ giá trị trước và sau, lý do, người sửa, người duyệt và thời gian. Chuyển OK sang NG hoặc ngược lại đáng chú ý vì có thể ảnh hưởng mô hình đã huấn luyện và quyết định xuất hàng trước đó. Khi tiêu chuẩn khách hàng thay đổi, giữ quy tắc có hiệu lực tại thời điểm đánh giá cũ. Kết quả đánh giá lại theo quy tắc mới là một phiên bản khác; QA quyết định có áp dụng hồi tố và tới những lô nào.
Kiểm tra xuất dữ liệu và khả năng chuyển hệ thống ngay trong thử nghiệm
Chỉ xem được nhãn trên trình duyệt nhà cung cấp chưa phải bàn giao. RFP phải nêu định dạng xuất ảnh và nhãn, từ điển lớp, thuộc tính, hệ tọa độ, hướng ảnh, ánh xạ ID và cách xuất lịch sử duyệt. Hướng dẫn xuất dữ liệu của CVAT cho thấy định dạng và điều kiện kèm ảnh khác nhau giữa công cụ và gói dịch vụ. Trong lô thử, xuất dữ liệu thật, nhập vào môi trường nhà máy và xác minh rằng các quyết định không đổi.
Nếu tài liệu hướng dẫn từng ngôn ngữ là tệp riêng, dùng cùng số phiên bản và ngày phê duyệt bản dịch. Hướng dẫn tiếng Nhật mới và tiếng Thái cũ không thể cùng dùng trong một lô. Phiên bản thực sự hiển thị cho người gán của nhà cung cấp cần có trong nhật ký kiểm toán. Đặt cùng mã phiên bản trong dữ liệu bàn giao và hợp đồng để có thể truy vết tranh chấp về sau.
Nội dung cần có trong RFP thuê gán nhãn
Ghi rõ sản phẩm bàn giao và ranh giới trách nhiệm
Mở đầu bằng sản phẩm, mặt chụp, loại lỗi dự kiến, định dạng ảnh, chủ sở hữu tiêu chí, địa điểm làm việc, bảo mật và đơn vị bàn giao. Trách nhiệm sẽ khác nếu nhà máy tự cung cấp ảnh đã chọn so với trường hợp nhà cung cấp phụ trách từ chụp ảnh. Nếu ảnh đầu vào không có mã chi tiết, không thể đòi hỏi nhà cung cấp tạo lại truy xuất hoàn hảo sau đó. Liệt kê trường dữ liệu thiếu và bên chịu trách nhiệm bổ sung.
Đính kèm cấu trúc nhãn: ID lớp ổn định, định nghĩa, ví dụ đưa vào và loại trừ, cách xác định vị trí và diện tích, nhiều lỗi trong một ảnh, điều kiện OK/NG/REVIEW, lý do ảnh không thể đánh giá và tham chiếu mẫu giới hạn. Phân biệt vấn đề có thể giải quyết sau khi khởi động với vấn đề ảnh hưởng giá và nghiệm thu phải chốt trước. Nếu tiêu chí nội bộ chưa xác định, hãy đặt một giai đoạn nhỏ làm hướng dẫn trước khi xin giá gán nhãn hàng loạt.
Phần quản lý chất lượng cần mô tả cách chọn mẫu đánh giá kép, tính độc lập, vai trò duyệt, người phân xử, quyền sở hữu golden set và điều kiện làm lại. Một tuyên bố như “độ chính xác 99%” ít ý nghĩa khi không rõ mẫu số, tỷ lệ ảnh tốt, cách xử lý lỗi nghiêm trọng và phương pháp chấm vị trí. Yêu cầu giá riêng cho xây dựng hướng dẫn, lô thử, gán hàng loạt, duyệt, phân xử, sửa và xuất dữ liệu. Như vậy chi phí làm lại ẩn sau giá mỗi ảnh sẽ hiện rõ.
Bảo mật và điều kiện rút khỏi hệ thống cũng thuộc hợp đồng. Ảnh có thể chứa bản vẽ khách hàng hoặc sản phẩm chưa công bố. Cần thỏa thuận nơi lưu, quyền truy cập, thuê phụ, tái sử dụng để huấn luyện dịch vụ khác và bằng chứng xóa. Luật và hợp đồng khách hàng phải được xem theo từng dự án; bài viết không thể đưa ra một thời hạn lưu hay quy tắc chuyển dữ liệu xuyên biên giới chung. Nêu quyền nhận lại ảnh thô, nhãn, hướng dẫn và lịch sử khi đổi nhà cung cấp.
So sánh báo giá bằng cùng một lô thử
Cung cấp cho các bên cùng bộ ảnh và hướng dẫn tạm thời. Nếu chỉ có ảnh sản phẩm tốt dễ đánh giá, khác biệt chất lượng sẽ không lộ ra. Đưa vào trường hợp sát ngưỡng, nhiều lỗi, ảnh kém và mã sản phẩm khác nhau, cho phép trả lời “không thể kết luận” kèm lý do. Chất lượng câu hỏi mà nhà cung cấp đặt ra có thể hữu ích hơn việc ép nhãn cho mọi ảnh. Trả cùng một câu trả lời cho mọi bên khi phát sinh câu hỏi trong thử nghiệm.
Nếu các nhà cung cấp diễn giải cùng ảnh khác nhau, hãy sửa lỗ hổng trong hướng dẫn nội bộ trước khi thương lượng giá. Giữ kết quả nộp lần đầu và nộp lại như hai phiên bản. So sánh không chỉ đơn giá mà cả quyết định ở ranh giới, dấu vết kiểm toán, tốc độ làm lại, xuất dữ liệu, vận hành đa ngôn ngữ, nơi lưu dữ liệu và hỗ trợ. Trọng số của từng tiêu chí phải theo lỗi nghiêm trọng và điều khoản hợp đồng của nhà máy.
Nghiệm thu phải kiểm tra khả năng tái lập, không chỉ số lượng
Kiểm tra số lượng, chất lượng và chuyển giao riêng
Đủ số bản ghi vẫn chưa đạt nếu ảnh trùng, thiếu ID hoặc nhãn ngoài cấu trúc. Trước hết, tự động kiểm tra số tệp, ID ảnh duy nhất, ánh xạ chi tiết, tệp hỏng, ảnh ngoài phạm vi và trường bắt buộc bị trống. Sau đó chấm với golden set đã đóng băng và mẫu ảnh duyệt độc lập. Cuối cùng xuất và nhập lại dữ liệu cùng phiên bản hướng dẫn, lịch sử phân xử để xác nhận nhà máy tái lập được quyết định sau bàn giao.
Chỉ tiêu phải theo rủi ro thực: quyết định OK/NG sai, bỏ sót lỗi nghiêm trọng, nhầm loại, lệch vị trí và chuyển REVIEW phù hợp. Mức đồng thuận trung bình cao không tự động khiến việc bỏ sót một lỗi trọng yếu trở nên chấp nhận được. Ở bài toán khác, nhận ra có lỗi có thể quan trọng hơn độ lệch nhỏ của hộp. Thống nhất chỉ tiêu, ngưỡng, điều kiện thử lại, đơn vị lấy mẫu và người quyết định trước khi làm hàng loạt. Không thay đích sau khi xem kết quả bàn giao.
Nếu nhà cung cấp phản đối đáp án tham chiếu, QA độc lập cần kiểm tra mẫu vật, tiêu chí và mẫu giới hạn. Nếu câu trả lời thay đổi, ghi phiên bản, phạm vi điểm bị ảnh hưởng và kết quả tính lại. Khi ảnh thử sau này được đưa cho nhà cung cấp huấn luyện, chuẩn bị tập nghiệm thu khác cho lần tiếp theo. Lặp mãi một đề đã biết không đo được chất lượng ở lô mới.
Giám sát chất lượng nhãn sau khi vận hành
Nghiệm thu không kết thúc việc quản lý. Sản phẩm sửa đổi, thay khuôn, đổi đèn hoặc ống kính, lỗi mới hay mẫu giới hạn của khách hàng đổi đều có thể khiến hướng dẫn cũ không còn phù hợp. Thu thập ảnh mà người vận hành sửa quyết định của mô hình kèm lý do, nhưng không tự động biến chúng thành “đáp án mới” để huấn luyện; cần QA phân xử. Nếu sửa tập trung ở một mã sản phẩm, ca hoặc camera, kiểm tra cả đầu vào hình ảnh lẫn hướng dẫn.
Trong rà soát định kỳ, theo dõi lý do REVIEW, hồ sơ chưa phân xử, bất đồng theo lớp, thời gian làm lại và số lần chỉnh hướng dẫn. Chọn số đo có ích cho dây chuyền thay vì theo dõi mọi thứ. Khi phát hiện bất thường, xác định phiên bản dữ liệu và mô hình liên quan, rồi đánh giá các lô và quyết định cần xem lại. Liên kết giữa ảnh, nhãn, mô hình và xuất hàng biến AI kiểm tra ngoại quan thành quy trình chất lượng có thể duy trì.
Dùng lô thử nhỏ để tìm lỗ hổng vận hành trước khi mua dịch vụ
Tách ảnh khỏi thông tin tiết lộ đáp án trước khi gán nhãn
Lô thử dành cho nhà cung cấp không nên chỉ là vài ảnh lấy tùy ý trong kho. Hãy ghi nhận mã biến thể sản phẩm, vị trí camera, điều kiện chiếu sáng, vật liệu bề mặt và ca sản xuất rồi chọn ảnh trải đều các điều kiện đó. Ngoài sản phẩm đạt, lỗi rõ ràng và trường hợp sát ngưỡng, cần đưa vào ảnh mờ, lóa sáng hoặc lệch vị trí khiến không thể kết luận. Nếu buộc ảnh không đủ chất lượng vào nhóm đạt hoặc lỗi, vấn đề của hệ thống chụp ảnh sẽ bị che giấu trong dữ liệu huấn luyện. Tạo mã lý do riêng cho trường hợp cần chụp lại và chỉ định người chịu trách nhiệm thu ảnh dùng được.
Cũng cần ngăn việc đoán đáp án từ tên tệp hoặc lịch sử sản xuất. Nếu toàn bộ ảnh lỗi nằm trong một thư mục riêng, người gán nhãn hoặc công cụ có thể phân loại mà không nhìn vết lỗi. Chỉ cho người gán nhãn thấy thông tin được phép dùng trong vận hành thực tế; bộ phận chất lượng giữ riêng dữ liệu bổ sung để nghiệm thu và ghi lại bằng chứng đã dùng cho từng quyết định. Giữ mã sản phẩm và thời điểm chụp để truy vết, nhưng không hiện các trường cần làm mù trên giao diện gán nhãn.
Biến bất đồng thành yêu cầu sửa việc cụ thể
Khi hai người kiểm tra gọi cùng một ảnh bằng hai tên lỗi khác nhau, hãy phân biệt lỗi nhập liệu, quy tắc phân loại còn thiếu, ảnh chụp kém và sự mơ hồ của tiêu chuẩn kiểm tra. Trả lại mọi bất đồng dưới nhãn “người gán nhãn chưa được đào tạo” sẽ để nguyên tiêu chí chấp nhận chưa rõ của khách hàng. Bộ phận chất lượng cần xem vật thật hoặc ảnh bổ sung và ghi điều khoản quy cách sản phẩm làm căn cứ vào nhật ký quyết định. Nếu quy cách vẫn không giải quyết được, đừng xác nhận nhãn tạm thời là đáp án đúng cho huấn luyện. Tạm giữ trường hợp đó để bộ phận thiết kế, chất lượng và đầu mối khách hàng thống nhất.
Yêu cầu sửa việc cần có ID ảnh, nhãn cũ, nhãn mới, lý do thay đổi, phiên bản hệ phân loại và phạm vi ảnh tương tự phải kiểm tra lại. Chỉ sửa một ảnh có thể để các lô trước mâu thuẫn theo cùng một quy tắc. Người có thẩm quyền phải quyết định áp dụng quy tắc mới hồi tố hay từ lô tiếp theo và ghi rõ ranh giới. Khi đánh giá nhà cung cấp, hãy xem khả năng phát hiện, giải thích, sửa và nộp lại các bất đồng bên cạnh số nhãn khớp ngay từ lần đầu.
Thử khả năng nhà máy tiếp quản sau nghiệm thu
Nghiệm thu cuối cùng không nên chỉ dựa vào phần trình diễn trên màn hình của nhà cung cấp. Nhân viên nhà máy phải dùng ảnh, nhãn, hệ phân loại và hướng dẫn quyết định đã nhận, mở trên một môi trường khác và tái tạo tên cùng vị trí lỗi cho mẫu được chọn. Kiểm tra ánh xạ giữa ID ảnh và ID nhãn, gốc tọa độ và đơn vị, cũng như lý do loại ảnh còn được lưu. Xác nhận nhà máy vẫn đọc được dữ liệu cần thiết và nhật ký kiểm toán sau khi tài khoản của nhà cung cấp bị vô hiệu hóa.
Sau khi vận hành, có thể xuất hiện dạng vết xước mới, thay đèn hoặc đổi quy cách sản phẩm. Trước khi chỉ huấn luyện lại mô hình, hãy quyết định có cần sửa hệ phân loại hoặc golden set không. Nếu có, lưu kết quả theo phiên bản cũ và đánh giá lại theo phiên bản mới trước khi chuyển sang dùng. Nhà máy phải giải thích được vì sao chỉ số tháng này khác tháng trước. Đưa việc bàn giao này vào đơn đặt hàng giúp thấy chi phí vận hành bên cạnh đơn giá mỗi ảnh được gán nhãn.
Câu hỏi thường gặp
Cần bao nhiêu ảnh để bắt đầu gán nhãn cho AI kiểm tra ngoại quan?
Không có số tối thiểu chung. Trước tiên liệt kê loại lỗi, mã sản phẩm, điều kiện chụp và ranh giới chấp nhận. Dùng lô thử nhỏ để tìm hướng dẫn còn mơ hồ, rồi lập kế hoạch theo ví dụ thực có ở từng điều kiện. Thêm hàng nghìn ảnh tốt dễ đánh giá không giải quyết được định nghĩa thiếu cho lỗi nghiêm trọng hiếm gặp. RFP nên có số lượng ban đầu và quy trình quyết định đợt tiếp theo.
Có thể dùng đa số để giải quyết nhãn bất đồng không?
Có thể dùng hỗ trợ với trường hợp ít rủi ro và quy tắc đã rõ. Trường hợp sát ngưỡng, yêu cầu khách hàng, lỗi nghiêm trọng và ảnh không sử dụng được phải chuyển cho QA có thẩm quyền. Hướng dẫn về sự đồng thuận giữa người gán của Label Studio minh họa việc chuyển trường hợp đồng thuận thấp sang duyệt. Lưu lý do và phiên bản quy tắc, không chỉ kết quả bỏ phiếu.
Golden set khác dữ liệu huấn luyện thông thường thế nào?
Dữ liệu huấn luyện dùng để dạy mô hình. Golden set gồm các đáp án có chứng cứ được người phụ trách phê duyệt, dùng để đánh giá công việc gán nhãn hoặc mô hình. Giữ hai bộ tách biệt để tránh kết quả quá lạc quan. Đáp án tham chiếu có thể sửa, nhưng mỗi lần cần phiên bản mới, lý do và xem lại ảnh hưởng tới điểm cũ.
Chi phí thuê gán nhãn phụ thuộc điều gì?
Không chỉ số ảnh: số lớp, độ chính xác vị trí, tỷ lệ trường hợp sát ngưỡng, duyệt kép, chuyên gia phân xử, tài liệu đa ngôn ngữ, làm lại, định dạng bàn giao và bảo mật đều ảnh hưởng. Tách giá xây dựng hướng dẫn và thử nghiệm khỏi giá sản xuất hàng loạt. Hỏi thêm giá xử lý REVIEW và đổi yêu cầu. So sánh nhà cung cấp bằng cùng bộ ảnh thử thay vì lấy giá thị trường chung làm dự toán cho nhà máy.
Kết luận
Tài sản đầu tiên nhà máy cần mua là phương pháp áp dụng tiêu chí chấp nhận cho ảnh một cách lặp lại được, không phải một đống nhãn lớn. Tách quan sát với quyết định xuất hàng, mô tả trường hợp ranh giới, để người đánh giá độc lập và phân xử bất đồng, đóng băng golden set rồi quản lý phiên bản ảnh, nhãn, tiêu chí và cách chia tập đánh giá. Chuyển những quyết định ấy thành RFP và phép thử nghiệm thu. Khi đổi nhà cung cấp, lý do đánh giá vẫn thuộc về nhà máy.
Nếu nhà máy tại Thái Lan đang xây dựng yêu cầu gán nhãn hoặc lô thử cho kiểm tra bằng ảnh, hãy liên hệ TOMAS TECH cùng mã chi tiết, ví dụ lỗi và mẫu giới hạn hiện có. Có thể trao đổi về hệ phân loại và tiêu chí nghiệm thu ngay từ giai đoạn trước khi đặt hàng.
