ก่อนเริ่มทำ annotation สำหรับ AI ตรวจสอบด้วยภาพ โรงงานต้องตกลงมากกว่าจำนวนภาพที่จะติดป้าย รอยขีดข่วนที่อยู่ตรงขอบของตัวอย่างขีดจำกัดจะตัดสินอย่างไร ใครเป็นผู้ชี้ขาดเมื่อผู้ตรวจสองคนเห็นต่างกัน และคำตัดสินนั้นจะบันทึกในชุดข้อมูลเวอร์ชันใด หากยังไม่ตอบคำถามเหล่านี้ การจ้างติดป้ายภาพจำนวนมากอาจเพียงถ่ายทอดความไม่สอดคล้องของเกณฑ์ตรวจสอบเดิม บทความนี้ช่วยทีมประกันคุณภาพ วิศวกรรมการผลิต และ IT ในโรงงานไทยกำหนดหมวดหมู่ข้อบกพร่อง กระบวนการชี้ขาด ชุดข้อมูลอ้างอิงที่ยืนยันแล้ว การควบคุมเวอร์ชัน RFP และการทดสอบรับมอบ
เรื่องกล้อง แสง และเซลล์ตรวจสอบโดยรวมอ่านได้ในคู่มือ AI ตรวจสอบด้วยภาพในโรงงาน ส่วนการตรวจสอบด้วยภาพบนไลน์ความเร็วสูง เน้นการถ่ายภาพและเวลาไซเคิล บทความนี้จำกัดขอบเขตที่ความหมายของภาพที่ถ่ายได้ ต้องทำให้เกณฑ์ตัดสินทำซ้ำได้ก่อนเพิ่มจำนวนภาพฝึกโมเดล
กำหนดสิ่งที่จะส่งมอบก่อนเริ่มทำ Annotation
ป้ายกำกับไม่ใช่เพียงเครื่องหมายบนภาพ
Annotation คือการบันทึกความหมายที่มนุษย์กำหนดให้ภาพหรือวัตถุในภาพในรูปแบบที่เครื่องอ่านได้ แต่ไฟล์ที่ระบุเพียง “NG” ยังไม่พอสำหรับโรงงาน ระเบียนหนึ่งอาจต้องเชื่อมภาพต้นฉบับ รหัสชิ้นงานและกระบวนการ ชนิด ตำแหน่ง ขนาดและระดับความรุนแรงของตำหนิ ผลตัดสินสุดท้าย เหตุผล ผู้ติดป้าย ผู้ตรวจทาน และเวอร์ชันของเกณฑ์ตรวจสอบ เมื่อข้อกำหนดลูกค้าหรือแบบชิ้นงานเปลี่ยน ภาพเดียวกันอาจมีผลตัดสินต่างไป หากเก็บเฉพาะภาพจะย้อนหาเหตุผลไม่ได้
แยกคำถามสามข้อออกจากกัน: มีรอยที่มองเห็นหรือไม่ รอยนั้นคือชนิดใด และชิ้นงานส่งมอบได้หรือไม่ รอยถลอกเล็กน้อยอาจตรวจพบจริงแต่ยังอยู่ในขอบเขตที่ยอมรับตาม limit sample ถ้ารวมข้อเท็จจริงของรอยกับผลอนุมัติส่งมอบเป็นป้ายเดียว จะไม่รู้ว่าโมเดลเรียนรู้ปรากฏการณ์ทางกายภาพหรือเกณฑ์ของโรงงาน จึงควรมีฟิลด์แยกสำหรับสิ่งที่พบ ระดับ และผลตัดสินทั้งในโครงสร้างข้อมูลและ RFP
กำหนดหน่วยงานให้ชัด หนึ่งภาพอาจมีหลายชิ้นงาน หนึ่งชิ้นงานอาจถ่ายหลายด้าน และบางครั้งผลตัดสินอยู่ระดับล็อต จึงต้องแยกรหัสภาพ รหัสชิ้นงาน มุมภาพ เวลาถ่าย และรหัสล็อต พร้อมบอกว่าอะไรนับเป็นหนึ่งงาน annotation นิยามเหล่านี้กำหนดตัวหารของค่าจ้าง อัตราตรวจซ้ำ และจำนวนรายการที่ขาดหาย การมาตกลงภายหลังจะทำให้เกิดข้อโต้แย้งเรื่องปริมาณส่งมอบ
เลือก Classification, Bounding Box หรือ Segmentation ตามการใช้งาน
การจำแนกทั้งภาพระบุได้ว่าภาพมีปัญหาหรือไม่ แต่ไม่แสดงตำแหน่ง กรอบสี่เหลี่ยมบอกตำแหน่งได้ ทว่าอาจกินพื้นหลังมากสำหรับรอยบางหรือสิ่งปนเปื้อนรูปร่างไม่แน่นอน การระบายพื้นที่ระดับพิกเซลใช้วัดขอบเขตและพื้นที่ได้ละเอียดขึ้น แต่ใช้เวลามากและมีประเด็นความต่างในการลากขอบ เลือกตามสิ่งที่จะวัดในการรับมอบ หากต้องตัดสินส่งมอบ อาจต้องการผลระดับภาพเป็นหลัก หากต้องเทียบความยาวรอยกับ limit sample ก็ต้องบันทึกตำแหน่งและขอบเขต
แยกตำหนิบนชิ้นงานจากความล้มเหลวของการถ่ายภาพ ภาพเบลอ แสงไม่พอ ชิ้นงานเอียง และเลนส์สกปรก ไม่ควรถูกใส่รวมเป็น “ดี” หรือ “รอยขีดข่วน” โดยเงียบ ๆ ให้มีสถานะตัดสินไม่ได้และถ่ายใหม่ หากภาพไม่ดีถูกนับเป็น NG ทั้งหมด สถิติของเสียจะบิดเบือน หากนับเป็นดี ปัญหากล้องจะถูกซ่อน กำหนดเส้นทางกักกันและตรวจด้วยคนเมื่อเครื่องถ่ายซ้ำไม่ได้
สร้างอนุกรมวิธานตำหนิจากมาตรฐานตรวจสอบ
รวมคำเรียกที่มีความหมายเดียวกันก่อนสร้างคลาส
รอยเส้นเดียวกันอาจถูกเรียกว่า scuff, scratch หรือ streak ในแต่ละแผนก ฝ่ายประกันคุณภาพควรเทียบแบบ ข้อกำหนดลูกค้า ใบตรวจ ชิ้นงานเสียจริง และ limit sample แล้วทำพจนานุกรมคำ ตรวจว่าคำหนึ่งครอบคลุมหลายปรากฏการณ์หรือหลายคำหมายถึงสิ่งเดียวกัน เป้าหมายไม่ใช่ลบคำที่หน้างานใช้ แต่เชื่อมคำเหล่านั้นเข้ากับรหัสตัดสินที่คงที่
รักษาลำดับชั้นให้เรียบง่าย ชั้นแรกอาจแยกรอยเส้น จุด บิ่น คราบ ชิ้นส่วนขาด และภาพถ่ายผิดพลาด ค่อยเพิ่มชั้นย่อยเมื่อวัสดุหรือกลไกการเกิดทำให้วิธีจัดการต่างกัน การบังคับให้ผู้ตรวจแยกหลายสิบหมวดตั้งแต่ต้นมักเพิ่มความเห็นต่าง หมวด “อื่น ๆ” ต้องมีเหตุผลและการทบทวนเป็นระยะ มิฉะนั้นช่องว่างของนิยามจะมองไม่เห็น เกณฑ์ว่าจะเพิ่มหรือรวมคลาสเมื่อใดต้องมาจากความเสี่ยงของผลิตภัณฑ์ ไม่ใช่ตัวเลขทั่วไปจากบทความ
OK, NG และ REVIEW เป็นสถานะผลตัดสิน ไม่ใช่ชนิดตำหนิ ชิ้นงานที่เห็นรอยอาจมีชนิดตำหนิที่บันทึกไว้แต่ผลยังเป็น OK กรณีขอบเขตไม่ชัดให้ส่ง REVIEW อย่าใช้เหตุผล REVIEW เดียวกันสำหรับทั้งรออนุมัติลูกค้าและรอถ่ายภาพใหม่ แยกรหัสเหตุผลเพื่อดูว่าปัญหาอยู่ที่ความไม่แน่นอนของโมเดล เกณฑ์ที่ยังไม่ตกลง หรือภาพที่ใช้ไม่ได้
เก็บกรณีขอบเขตด้วยข้อความและภาพประกอบ
คู่มือการติดป้ายควรบอกทั้งสิ่งที่ต้องติดและสิ่งที่ไม่ต้องติด หากรอยเกตบนชิ้นงานฉีดพลาสติกยอมรับได้ ให้แสดงความต่างจากคราบหรือรอยบิ่นพร้อมตำแหน่งที่อนุญาต ผิวมันอาจสะท้อนแสงจนเหมือนรอยขีดข่วน หากภาพเดียวตัดสินไม่ได้ ต้องมีขั้นตอนถ่ายใหม่หรือให้คนตรวจ เก็บภาพ limit sample ร่วมกับจุดขยาย สภาพแสง รหัสชิ้นงานและเหตุผลตัดสิน
ระบุกรณีมีหลายตำหนิด้วย อนุญาตให้กรอบทับกันหรือไม่ บันทึกเฉพาะตำหนิหลักหรือทุกตำหนิ รอยใกล้กันสองจุดจะรวมเป็นหนึ่งบริเวณหรือไม่ รวมเงาในขอบเขตหรือไม่ กฎเหล่านี้ทำให้ทีมคนละกะและคนละผู้รับจ้างสร้างข้อมูลได้สม่ำเสมอ ส่งมอบคำสั่ง ตัวอย่าง ตัวอย่างที่ไม่เข้าเกณฑ์ และประวัติแก้ไขเป็นหนึ่งชุดที่มีเวอร์ชัน
ในโรงงานไทยที่ใช้ญี่ปุ่น ไทย และอังกฤษพร้อมกัน รหัสป้ายต้องไม่ขึ้นกับภาษา ชื่อแสดงผลแปลได้ แต่รหัส นิยาม และภาพตัวอย่างควรใช้ร่วมกัน คำแปลของ “คราบ” อาจมีขอบเขตไม่ตรงกันทั้งหมด ให้ผู้ตรวจที่ใช้ทั้งสองภาษาตัดสินภาพเดียวกันและนำจุดต่างกลับไปแก้นิยาม การชี้ขาดเป็นหน้าที่เจ้าของคุณภาพ ไม่ใช่ผู้แปลเพียงคนเดียว
วัดความเห็นต่างและวางเส้นทางชี้ขาด
อย่าดูเฉพาะอัตราตรงกันรวม
ในชุดทดลอง ให้คนอย่างน้อยสองคนติดป้ายภาพเดียวกันโดยอิสระและไม่เห็นคำตอบของอีกฝ่าย วิเคราะห์ผลแยกตามชนิดตำหนิ รหัสชิ้นงาน แสง และกรณีขอบเขต อัตราตรงกันรวมอาจดูสูงเพราะชิ้นงานดีที่ง่ายมีมาก ทั้งที่ตำหนิสำคัญยังเห็นต่างกัน บันทึกความตรงกันของผล OK/NG ชนิดตำหนิ ความทับซ้อนตำแหน่ง และอัตราตัดสินไม่ได้แยกกัน หากเปรียบเทียบกรอบหรือพื้นที่ ต้องตกลงวิธีให้คะแนนก่อน
อย่าใช้เสียงข้างมากกับทุกกรณี หากผู้ตรวจสองคนว่า OK แต่อีกคนเห็นรอยบิ่นที่ข้อกำหนดลูกค้าห้าม ฝ่ายประกันคุณภาพต้องตรวจชิ้นงาน กฎ และภาพ เอกสารConsensus-based annotation ของ CVAT อธิบายการรวมผลหลายคนและการส่งผลที่ความเห็นตรงกันต่ำไปตรวจทาน คะแนนจากเครื่องมือไม่แทนความรับผิดชอบด้านคุณภาพ
บันทึกผลเดิมทั้งสองด้าน ผลสุดท้าย ผู้ชี้ขาด เวอร์ชันเกณฑ์ หลักฐาน และความจำเป็นในการแก้คู่มือ หากความเห็นต่างแบบเดิมเกิดซ้ำ ให้ตรวจว่าขาดนิยาม ขาด limit sample ภาพไม่เสถียร หรือข้อกำหนดผลิตภัณฑ์ยังไม่ชัด เมื่อแก้คู่มือแล้วต้องตัดสินว่าจะย้อนตรวจภาพเก่าถึงจุดใด มิฉะนั้นตำหนิเดียวกันจะมีรหัสต่างกันตามช่วงเวลา
ระบุผู้มีอำนาจตรวจและเงื่อนไขหยุดงาน
แยกผู้ติดป้าย ผู้ตรวจทานขั้นแรก และผู้ชี้ขาดสุดท้าย การอนุมัติภายในของผู้รับจ้างเพียงฝ่ายเดียวพิสูจน์ไม่ได้ว่าตรงกับเกณฑ์โรงงาน QA ของโรงงานควรรับผิดชอบกรณีเสี่ยงสูงและขอบเขต วิศวกรรมการผลิตตรวจเรื่องการถ่ายภาพ ส่วน IT ดูแลเวอร์ชันและ audit log ระบุผู้แทนเมื่อเจ้าของงานไม่อยู่ และที่เก็บภาพระหว่างรอคำตัดสิน
ตกลงเงื่อนไขหยุดก่อนเริ่มงานจำนวนมาก เช่น พบชนิดตำหนิใหม่มาก เกณฑ์ตีความต่างกันระหว่างแผนก หรือระบบถ่ายภาพเปลี่ยน ควรหยุดล็อตงานเพื่อปรับคู่มือก่อน เกณฑ์เชิงตัวเลขต้องอิงความเสี่ยงของแต่ละไลน์ จึงควรเป็นช่องที่โรงงานกับคู่สัญญาตกลงใน RFP หากปล่อยให้ “แก้ทีหลัง” โดยไม่จำกัด จะไม่รู้ขอบเขตงานทำซ้ำ
จัดการ Golden Set ให้เป็นมาตรวัด
ใส่ทั้งกรณีขอบเขตและภาพถ่ายผิดพลาด
Golden set คือกลุ่มภาพที่ผู้มีอำนาจยืนยันคำตอบพร้อมหลักฐาน ไม่ใช่เพียงป้ายที่ผู้ตรวจคนเดียวติด ควรมีชิ้นงานดีและเสียที่ชัดเจน กรณีเกือบถึงขอบเขต ตำหนิที่คล้ายกัน ภาพถ่ายไม่ดี และความต่างด้านรหัสชิ้นงาน ล็อต กะ และแสง ตำหนิหายากอาจมีตัวอย่างจริงไม่พอ ให้แสดงช่องว่างนั้นแทนการใช้ภาพสังเคราะห์เติมอย่างเงียบ ๆ เรื่องการใช้และข้อจำกัดของภาพสร้างขึ้นอ่านได้ในข้อมูลสังเคราะห์สำหรับ AI ภาคการผลิต
คู่มือ Quality control ของ CVAT อธิบาย ground-truth job และชุด validation สำหรับเปรียบเทียบ annotation ประเด็นสำคัญคือแยกการสร้างคำตอบอ้างอิงจากงานติดป้ายปกติ พร้อมบันทึกว่าใครอนุมัติเมื่อใด อย่าแก้ golden set โดยไม่ประกาศระหว่างโครงการ เพราะคะแนนชุดต้นกับชุดหลังจะเทียบกันไม่ได้ หากต้องแก้ ให้ขึ้นเวอร์ชันใหม่พร้อมเหตุผลและรักษาผลประเมินเดิมไว้
แยกภาพประเมินจากภาพฝึก ภาพต่อเนื่องของชิ้นงานเดียวกันที่เกือบเหมือนกัน หากอยู่ทั้งสองฝั่งอาจทำให้ผลดูดีเกินจริง เลือกหน่วยแบ่งตามล็อต ชิ้นงาน วันที่ถ่าย กล้อง หรือรหัสสินค้าให้เหมาะ ระบุสินค้าและสภาพที่อยู่นอกการทดสอบ ไม่รับประกันผลเกินขอบเขตนั้น หากพบภาพซ้ำหรือใช้ไม่ได้ ให้ใช้กฎคัดออกที่บันทึกไว้และเก็บจำนวน
เก็บความไม่แน่นอนของคำตอบอ้างอิง
ไม่ต้องบังคับทุกภาพเป็น OK หรือ NG “ต้องดูชิ้นงานจริง” “รอลูกค้าอนุมัติ” และ “ตัดสินจากภาพไม่ได้” เป็นสถานะแยกได้ แยกชุดรับมอบที่ยืนยันและตรึงเวอร์ชันออกจากชุดพักที่ยังพัฒนาเกณฑ์ เก็บชุดพักไว้ปรับ limit sample หรือการถ่ายภาพภายหลัง
แยกการวัดคุณภาพโมเดลจากคุณภาพ annotation ผลที่ไม่ตรง golden set อาจมาจากโมเดล กล้อง ป้าย หรือกฎ หากมีข้อโต้แย้งต่อคำตอบอ้างอิง อย่าแก้ให้ตรงกับผลทำนายโดยอัตโนมัติ ให้ QA อิสระพิจารณาใหม่ NIST AI RMF Measure playbook ชี้ว่าคุณภาพและความเป็นตัวแทนของข้อมูลเชื่อมโดยตรงกับการประเมิน AI โรงงานควรแปลงหลักการนี้เป็นบันทึกสภาพตรวจและผู้มีอำนาจตัดสิน
ควบคุมเวอร์ชันภาพ ป้าย และเกณฑ์พร้อมกัน
“Dataset v2” ชื่อเดียวไม่พอ
อย่างน้อยต้องติดตามเวอร์ชันภาพดิบ การประมวลผลก่อนใช้ อนุกรมวิธาน คู่มือ ป้ายแต่ละรายการ golden set และการแบ่งชุดฝึก/ตรวจสอบ/รับมอบ มีเฉพาะเวอร์ชันโมเดลก็ทดลองซ้ำไม่ได้หากป้ายฝึกถูกแก้ภายหลัง MLflow Dataset Tracking แสดงแนวคิดการติดตามที่มาและความสัมพันธ์ระหว่างข้อมูลกับการทดลอง แม้ไม่ใช้เครื่องมือนี้ โรงงานก็ควรกำหนดให้รู้ว่าผลแต่ละชุดเกิดจากภาพ ป้าย และเกณฑ์เวอร์ชันใด
อย่าเขียนทับภาพต้นฉบับ เก็บรหัสภาพที่คงที่ checksum สภาพถ่าย และวันที่นำเข้า ภาพที่ปรับแสง ตัด หรือหมุนต้องย้อนกลับไปภาพดิบได้ พร้อมบันทึกวิธีและเวอร์ชัน อย่าใช้ชื่อไฟล์เป็นตัวเชื่อมชิ้นงานเพียงอย่างเดียว เพราะเปลี่ยนชื่อแล้วความสัมพันธ์ขาด ใช้รหัสภาพและรหัสชิ้นงานแยกกันโดยไม่ขึ้นกับที่เก็บไฟล์
เมื่อแก้ป้าย ให้เก็บค่าก่อนและหลัง เหตุผล ผู้แก้ ผู้อนุมัติ และเวลา การเปลี่ยน OK เป็น NG หรือกลับกันอาจกระทบการฝึกโมเดลและการตัดสินส่งมอบในอดีต หากข้อกำหนดลูกค้าเปลี่ยน ต้องรักษาเกณฑ์ที่ใช้ตอนตัดสินเดิมไว้ ผลที่ประเมินใหม่เป็นอีกเวอร์ชัน และ QA ตัดสินว่าจะมีผลย้อนหลังกับล็อตใด
ทดสอบการส่งออกและย้ายระบบตั้งแต่ชุดทดลอง
การดูป้ายได้บนเว็บของผู้รับจ้างไม่ถือเป็นการส่งมอบ ระบุรูปแบบส่งออกภาพและป้าย พจนานุกรมรหัส คุณสมบัติ ระบบพิกัด ทิศทางภาพ การจับคู่ ID และวิธีดึงประวัติรีวิว คู่มือส่งออกของ CVAT แสดงว่ารูปแบบและเงื่อนไขการรวมภาพต่างตามเครื่องมือและแผนบริการ ในชุดทดลอง ให้ส่งออกข้อมูลจริง นำเข้าในระบบโรงงาน และตรวจว่าผลตัดสินยังตรงกัน
หากคู่มือแต่ละภาษาเป็นคนละไฟล์ ให้มีหมายเลขเวอร์ชันร่วมและวันที่อนุมัติคำแปล คู่มือญี่ปุ่นใหม่กับคู่มือไทยเก่าไม่ควรถูกใช้ในงานล็อตเดียวกัน เวอร์ชันที่คนทำงานของผู้รับจ้างมองเห็นต้องอยู่ใน audit log ใส่รหัสเวอร์ชันเดียวกันในข้อมูลส่งมอบและสัญญาเพื่อสอบย้อนกลับได้
สิ่งที่ควรอยู่ใน RFP สำหรับจ้างทำ Annotation
ระบุผลส่งมอบและขอบเขตความรับผิดชอบ
เริ่มจากผลิตภัณฑ์ ด้านที่ถ่าย ชนิดตำหนิ รูปแบบภาพ เจ้าของเกณฑ์ สถานที่ทำงาน ความลับ และหน่วยส่งมอบ ความรับผิดชอบต่างกันเมื่อโรงงานจัดภาพให้กับกรณีผู้รับจ้างรับผิดชอบตั้งแต่ถ่ายภาพ หากภาพที่ส่งไม่มีรหัสชิ้นงาน จะเรียกร้องให้ผู้รับจ้างสร้าง traceability ให้ครบภายหลังไม่ได้ จึงต้องทำรายการข้อมูลที่ขาดและผู้รับผิดชอบแก้
แนบโครงสร้างป้าย: รหัสคลาส นิยาม ตัวอย่างรวมและยกเว้น วิธีระบุตำแหน่งและพื้นที่ หลายตำหนิในภาพเดียว เงื่อนไข OK/NG/REVIEW เหตุผลภาพใช้ไม่ได้ และการอ้าง limit sample แยกเรื่องที่ตกลงหลังเริ่มงานได้จากเรื่องที่กระทบราคาและการรับมอบจนต้องกำหนดก่อน หากเกณฑ์โรงงานยังไม่ลงตัว ให้จ้างงานจัดทำคู่มือขนาดเล็กก่อนขอราคางานติดป้ายจำนวนมาก
ในส่วนคุณภาพ ระบุวิธีเลือกงานตรวจซ้ำ ความเป็นอิสระ บทบาทผู้ตรวจ ผู้ชี้ขาด เจ้าของ golden set และเงื่อนไขแก้งาน ตัวเลขอย่าง “แม่นยำ 99%” ไม่มีความหมายหากไม่รู้ตัวหาร สัดส่วนภาพดี การจัดการตำหนิสำคัญ และวิธีให้คะแนนตำแหน่ง ขอราคาแยกสำหรับคู่มือ ชุดทดลอง งานจำนวนมาก การรีวิว การชี้ขาด การแก้ และการส่งออก จะเห็นค่าใช้จ่ายทำซ้ำที่ซ่อนในราคาต่อภาพ
ความปลอดภัยและการย้ายระบบเป็นส่วนของสัญญา ภาพอาจเผยแบบลูกค้าหรือสินค้าใหม่ ต้องตกลงสถานที่เก็บ สิทธิ์เข้าถึง การจ้างช่วง การนำไปฝึกโมเดลอื่น และหลักฐานการลบ กฎหมายและสัญญาลูกค้าต้องตรวจเป็นรายกรณี บทความนี้ไม่กำหนดระยะเก็บหรือสิทธิ์โอนข้ามประเทศแบบเดียวสำหรับทุกโครงการ กำหนดสิทธิ์รับภาพดิบ ป้าย คู่มือ และประวัติเมื่อเปลี่ยนผู้ขาย
เปรียบเทียบผู้เสนอราคาด้วยชุดทดลองเดียวกัน
แจกภาพและคู่มือชั่วคราวชุดเดียวกันให้ทุกบริษัท ชุดที่มีแต่ภาพดีง่าย ๆ ไม่แสดงความต่างด้านคุณภาพ ใส่กรณีขอบเขต หลายตำหนิ ภาพไม่ดี และรหัสสินค้าต่างกัน อนุญาตให้ตอบว่า “ตัดสินไม่ได้” พร้อมเหตุผล คำถามที่ผู้ขายถามอาจมีค่ากว่าการฝืนติดป้ายทุกภาพ หากมีคำถามระหว่างทดลอง ให้ตอบทุกบริษัทเหมือนกัน
หากบริษัทต่าง ๆ ตีความภาพเดียวกันไม่ตรงกัน ให้แก้ช่องว่างในคู่มือของโรงงานก่อนต่อรองราคา เก็บผลครั้งแรกและส่งใหม่เป็นคนละเวอร์ชัน เปรียบเทียบราคา การตัดสินกรณีขอบเขต audit log ความเร็วแก้งาน รูปแบบส่งออก การทำงานหลายภาษา การเก็บข้อมูล และการตอบคำถาม ให้น้ำหนักตามความเสี่ยงของตำหนิสำคัญและสัญญา
การรับมอบต้องทดสอบความทำซ้ำได้
ตรวจปริมาณ คุณภาพ และการย้ายข้อมูลแยกกัน
ครบจำนวนรายการยังรับมอบไม่ได้ถ้าภาพซ้ำ ID หาย หรือใช้รหัสป้ายผิด ขั้นแรกตรวจจำนวนไฟล์ ความเป็นเอกลักษณ์ของรหัสภาพ การจับคู่ชิ้นงาน ไฟล์เสีย ภาพนอกขอบเขต และฟิลด์บังคับด้วยเครื่อง ขั้นต่อไปให้คะแนนกับ golden set ที่ตรึงไว้และภาพตรวจทานอิสระ สุดท้ายส่งออกและนำเข้าข้อมูลอีกครั้งพร้อมเวอร์ชันคู่มือและประวัติชี้ขาด เพื่อดูว่าโรงงานทำซ้ำผลเดิมได้หลังส่งมอบหรือไม่
ตัวชี้วัดต้องสัมพันธ์กับความเสี่ยงจริง เช่น ผล OK/NG ผิด การพลาดตำหนิร้ายแรง สับสนคลาส ตำแหน่งคลาด และการส่ง REVIEW อย่างเหมาะสม ค่าเฉลี่ยสูงไม่ได้แปลว่าพลาดตำหนิสำคัญหนึ่งครั้งได้ แต่บางงานความถูกต้องว่า “มีตำหนิหรือไม่” สำคัญกว่ากรอบที่คลาดเล็กน้อย ตกลงตัวชี้วัด เกณฑ์ผ่าน กฎทดสอบซ้ำ หน่วยสุ่ม และผู้ตัดสินก่อนเริ่มงาน อย่าเปลี่ยนเป้าหมายหลังเห็นผล
หากผู้รับจ้างคัดค้านคำตอบอ้างอิง ให้ QA อิสระตรวจชิ้นงานจริง เกณฑ์ และ limit sample หากแก้คำตอบ ให้บันทึกเวอร์ชัน ขอบเขตคะแนนที่กระทบ และผลคำนวณใหม่ หากภายหลังนำภาพทดสอบไปให้ผู้ขายฝึก ต้องเตรียมชุดรับมอบใหม่ การใช้ข้อสอบเดิมตลอดไม่วัดคุณภาพกับงานใหม่
ติดตามคุณภาพป้ายหลังใช้งาน
การรับมอบไม่ใช่จุดจบ การแก้ผลิตภัณฑ์ เปลี่ยนแม่พิมพ์ แสงหรือเลนส์ ตำหนิใหม่ หรือ limit sample ของลูกค้าเปลี่ยน อาจทำให้คู่มือเดิมใช้ไม่ได้ เก็บภาพที่พนักงานแก้ผลโมเดลพร้อมเหตุผล แต่ไม่ส่งเข้าเรียนรู้เป็น “คำตอบใหม่” อัตโนมัติ ให้ QA ชี้ขาดก่อน หากการแก้กระจุกในสินค้า กะ หรือกล้องหนึ่ง ต้องตรวจทั้งภาพและคู่มือ
ทบทวนเหตุผล REVIEW จำนวนค้าง ความเห็นต่างตามคลาส เวลาทำซ้ำ และจำนวนครั้งแก้คู่มือเป็นระยะ เลือกตัววัดที่ใช้ตัดสินได้จริง หากพบความผิดปกติ ให้ระบุเวอร์ชันข้อมูลและโมเดลที่เกี่ยวข้อง แล้วประเมินล็อตและผลตัดสินที่ต้องตรวจใหม่ ความเชื่อมโยงระหว่างภาพ ป้าย โมเดล และการส่งมอบสินค้าทำให้ AI ตรวจสอบด้วยภาพเป็นกระบวนการคุณภาพที่ดูแลต่อได้
ใช้ชุดทดลองขนาดเล็กค้นหาช่องโหว่ก่อนจัดซื้อ
แยกภาพออกจากข้อมูลที่บอกคำตอบก่อนติดป้าย
ชุดทดลองสำหรับผู้รับจ้างไม่ควรเป็นเพียงภาพที่สุ่มออกมาจากคลัง ต้องบันทึกรุ่นผลิตภัณฑ์ ตำแหน่งกล้อง สภาพแสง วัสดุผิว และช่วงเวลาผลิต แล้วเลือกภาพให้ครอบคลุมเงื่อนไขเหล่านี้ นอกจากชิ้นงานดี ชิ้นงานเสียที่ชัดเจน และกรณีใกล้เกณฑ์แล้ว ให้ใส่ภาพเบลอ แสงสะท้อน และชิ้นงานวางผิดตำแหน่งที่ไม่สามารถใช้ตัดสินได้ด้วย หากบังคับให้ภาพใช้ไม่ได้เป็นดีหรือเสีย ปัญหาของระบบถ่ายภาพจะถูกซ่อนไว้ในข้อมูลฝึก ควรมีรหัสเหตุผลแยกสำหรับการถ่ายใหม่ พร้อมระบุผู้รับผิดชอบให้ได้ภาพที่ใช้ตัดสินได้
ต้องป้องกันไม่ให้เดาคำตอบจากชื่อไฟล์หรือประวัติการผลิตด้วย หากภาพของเสียมาจากโฟลเดอร์แยก ผู้ติดป้ายหรือเครื่องมืออาจจำแนกได้โดยไม่ดูรอยเสีย ให้ผู้ติดป้ายเห็นเฉพาะข้อมูลที่มีสิทธิ์ใช้ในงานจริง ส่วนข้อมูลเพิ่มเติมสำหรับตรวจรับให้ฝ่ายประกันคุณภาพเก็บแยก และบันทึกหลักฐานที่ใช้ในการตัดสินแต่ละครั้ง เก็บรหัสชิ้นงานและเวลาถ่ายเพื่อสืบย้อนกลับได้ แต่ไม่แสดงช่องข้อมูลที่ต้องการปกปิดบนหน้าจอติดป้าย
เปลี่ยนความเห็นที่ไม่ตรงกันให้เป็นคำสั่งแก้งานที่ชัดเจน
เมื่อผู้ตรวจสองคนให้ชื่อข้อบกพร่องต่างกันในภาพเดียวกัน ให้แยกความผิดพลาดในการป้อนข้อมูล กฎจำแนกที่ขาดหาย ภาพถ่ายที่ใช้ไม่ได้ และความกำกวมของมาตรฐานตรวจสอบ การส่งกลับทุกกรณีในชื่อว่าเป็นปัญหาการฝึกผู้ติดป้ายจะปล่อยให้เกณฑ์ยอมรับของลูกค้าไม่ชัดเจน ฝ่ายประกันคุณภาพควรดูชิ้นงานจริงหรือภาพเพิ่ม แล้วบันทึกข้อกำหนดผลิตภัณฑ์และข้อที่ใช้ตัดสินในบันทึกผล หากข้อกำหนดยังตัดสินไม่ได้ อย่ารับรองป้ายชั่วคราวเป็นคำตอบจริงสำหรับฝึกโมเดล ให้พักกรณีนั้นไว้จนฝ่ายออกแบบ คุณภาพ และผู้ประสานงานลูกค้าตกลงกัน
คำสั่งแก้งานต้องมีรหัสภาพ ป้ายเดิม ป้ายใหม่ เหตุผลที่เปลี่ยน รุ่นของกฎจำแนก และขอบเขตภาพคล้ายกันที่ต้องตรวจซ้ำ การแก้ภาพเดียวอาจทำให้ชุดงานก่อนหน้าไม่สอดคล้องกับกฎเดียวกัน ผู้มีอำนาจอนุมัติต้องเลือกว่าจะใช้กฎใหม่ย้อนหลังหรือเริ่มจากชุดงานถัดไปและบันทึกจุดแบ่งนั้น การประเมินผู้รับจ้างจึงควรดูความสามารถในการค้นพบ อธิบาย แก้ไข และส่งงานใหม่เมื่อความเห็นไม่ตรงกัน ไม่ใช่ดูเฉพาะจำนวนภาพที่ตรงกันตั้งแต่ครั้งแรก
ทดสอบว่าโรงงานรับช่วงงานได้หลังตรวจรับ
การตรวจรับสุดท้ายไม่ควรจบที่การสาธิตบนหน้าจอของผู้รับจ้าง พนักงานโรงงานต้องนำภาพ ป้าย กฎจำแนก และคู่มือการตัดสินที่ได้รับไปเปิดในอีกสภาพแวดล้อมหนึ่ง แล้วสร้างชื่อและตำแหน่งข้อบกพร่องของตัวอย่างที่เลือกซ้ำได้ ตรวจว่ารหัสภาพสัมพันธ์กับรหัสป้ายถูกต้อง จุดกำเนิดและหน่วยของพิกัดระบุชัด และเหตุผลที่ตัดภาพออกยังคงอยู่ ต้องอ่านข้อมูลและบันทึกตรวจสอบที่จำเป็นได้แม้ปิดบัญชีผู้รับจ้างแล้ว
หลังเริ่มใช้งานอาจมีรอยเสียรูปแบบใหม่ การเปลี่ยนไฟ หรือการเปลี่ยนข้อกำหนดผลิตภัณฑ์ ก่อนฝึกโมเดลใหม่เพียงอย่างเดียว ให้ตัดสินว่าต้องแก้กฎจำแนกหรือ golden set ด้วยหรือไม่ หากต้องแก้ ให้เก็บผลของรุ่นเดิมและประเมินด้วยรุ่นใหม่ก่อนเปลี่ยนใช้งาน โรงงานควรอธิบายได้ว่าเหตุใดตัวชี้วัดเดือนนี้จึงต่างจากเดือนก่อน การระบุขั้นตอนส่งมอบนี้ในใบสั่งซื้อช่วยให้เปรียบเทียบภาระปฏิบัติงานควบคู่กับราคาต่อภาพที่ติดป้าย
คำถามที่พบบ่อย
เริ่ม Annotation สำหรับ AI ตรวจสอบด้วยภาพต้องมีกี่ภาพ?
ไม่มีจำนวนขั้นต่ำที่ใช้ได้ทุกโรงงาน เริ่มจากรายชื่อชนิดตำหนิ รหัสสินค้า สภาพถ่าย และจุดขอบเขต ใช้ชุดทดลองเล็กเพื่อหาคู่มือที่กำกวม แล้ววางแผนจำนวนตามตัวอย่างจริงในแต่ละสภาพ เพิ่มภาพดีจำนวนมากไม่แก้การขาดนิยามของตำหนิสำคัญที่พบยาก RFP ควรระบุชุดเริ่มต้นและวิธีกำหนดชุดถัดไป
ใช้เสียงข้างมากตัดสินป้ายที่ขัดแย้งกันได้หรือไม่?
ใช้ช่วยในกรณีที่นิยามชัดและความเสี่ยงต่ำ แต่กรณีขอบเขต ข้อกำหนดลูกค้า ตำหนิสำคัญ และภาพตัดสินไม่ได้ต้องส่ง QA ที่มีอำนาจ บทเรียน inter-annotator agreement ของ Label Studio แสดงแนวทางส่งงานที่ความเห็นตรงกันต่ำไปรีวิว เก็บเหตุผลและเวอร์ชันเกณฑ์ ไม่ใช่เพียงผลโหวตสุดท้าย
Golden set ต่างจากข้อมูลฝึกอย่างไร?
ข้อมูลฝึกใช้สอนโมเดล ส่วน golden set มีคำตอบพร้อมหลักฐานที่เจ้าของงานอนุมัติและใช้วัดผลงานคนติดป้ายหรือโมเดล ควรแยกชุดเพื่อไม่ให้ผลประเมินดูดีเกินจริง คำตอบอ้างอิงแก้ได้ แต่ต้องมีเวอร์ชันใหม่ เหตุผล และประเมินผลกระทบต่อคะแนนเดิม
ค่าจ้างทำ Annotation เปลี่ยนตามอะไร?
ไม่ใช่แค่จำนวนภาพ แต่รวมจำนวนคลาส ความละเอียดตำแหน่ง สัดส่วนกรณีขอบเขต การตรวจซ้ำ ผู้เชี่ยวชาญชี้ขาด คู่มือหลายภาษา การแก้งาน รูปแบบส่งมอบ และความปลอดภัย แยกค่าทำคู่มือและชุดทดลองจากค่าทำจำนวนมาก ถามราคา REVIEW และการเปลี่ยนสเปก เปรียบเทียบด้วยภาพทดลองชุดเดียวกันแทนการนำราคาเฉลี่ยทั่วไปมาใช้ตรง ๆ
สรุป
สิ่งแรกที่โรงงานควรซื้อคือวิธีใช้เกณฑ์รับมอบกับภาพอย่างทำซ้ำได้ ไม่ใช่ป้ายจำนวนมหาศาล แยกสิ่งที่มองเห็นออกจากการตัดสินใจว่าจะปล่อยสินค้าหรือไม่ เขียนตัวอย่างขอบเขต ให้คนตัดสินอิสระและชี้ขาดความต่าง ตรึง golden set และควบคุมเวอร์ชันภาพ ป้าย เกณฑ์ และชุดประเมิน แล้วจึงกำหนด RFP และการรับมอบ วิธีนี้ทำให้เหตุผลการตัดสินยังอยู่กับโรงงานแม้เปลี่ยนผู้ขาย
หากโรงงานในไทยกำลังจัดทำข้อกำหนด annotation หรือชุดทดลองสำหรับการตรวจภาพ สามารถติดต่อ TOMAS TECH พร้อมรหัสชิ้นงาน ตัวอย่างตำหนิ และ limit sample ที่ใช้อยู่ เริ่มปรึกษาเรื่องหมวดหมู่และเกณฑ์รับมอบได้ก่อนออกใบสั่งซื้อ
