ความแม่นยำ Generative AI ภาษาเวียดนาม — สิ่งที่พังไม่ใช่โมเดลแต่เป็นการเตรียมข้อมูล

คำปรึกษาเรื่อง Generative AI ภาษาเวียดนามที่ว่า “ความแม่นยำไม่ได้ตามที่คาด” มักถูกนำเข้ามาในรูปของปัญหาเรื่องโมเดลเสมอ ภาษาญี่ปุ่นกับภาษาอังกฤษทำงานได้ตามปกติ แต่พอเป็นภาษาเวียดนามเท่านั้นที่ความแม่นยำตก หน้างานจำนวนมากจึงเปลี่ยนไปใช้โมเดลอื่น แล้วก็มักจะไม่หายอยู่ดี เพราะสิ่งที่พังไม่ใช่โมเดล แต่เป็นการประมวลผลอักขระและคำที่อยู่ก่อนหน้าโมเดลต่างหาก บทความนี้จะแบ่งการประมวลผลภาษาเวียดนามออกเป็น 4 ชั้น แล้วเรียบเรียงตามลักษณะการใช้งานว่าแก้ชั้นไหนแล้วอะไรจะดีขึ้น

เมื่อมีคนบอกว่า Generative AI ภาษาเวียดนาม “ความแม่นยำไม่ได้ตามที่คาด” สิ่งที่เกิดขึ้นจริงคืออะไร

รายงานชุดแรกที่ขึ้นมาจากฐานการผลิตในเวียดนาม มักมีอยู่ 3 รูปแบบดังนี้

• สั่งให้ค้นหาเอกสารภายในองค์กร แต่เอกสารที่ควรจะมีกลับไม่ออกมา พอถามคำถามเดียวกันเป็นภาษาญี่ปุ่นกลับออกมา
• สั่งให้สรุปยอดรายงานประจำวันหรือบันทึกการตรวจสอบที่เป็นภาษาเวียดนาม แล้วยอดรวมไม่ตรงกับความรู้สึกของหน้างาน บันทึกของเครื่องจักรตัวเดียวกันกลับแตกออกเป็นสองรายการ
• การแปลและการสรุปทำงานได้ แต่สำนวนแข็ง ชื่อเฉพาะเปลี่ยนไป และไม่ออกมาเป็นถ้อยคำที่ใช้กันภายในบริษัท

ทั้งหมดนี้ไม่ได้ออกมาในรูปของ “ผิดตลอดเวลา” แต่ออกมาในรูปของ “ผิดเป็นบางครั้ง” และตรงนี้เองที่ยุ่งยาก ถ้าพังตลอดเวลาเราจะสงสัยที่การตั้งค่า แต่สิ่งที่พังเป็นบางครั้งนั้นเขียนขั้นตอนทำซ้ำไม่ได้ ความผิดปกติที่เขียนขั้นตอนทำซ้ำไม่ได้ มักถูกข้ามขั้นตอนการระบุสาเหตุ แล้วไปลงเอยที่คำอธิบายว่า “โมเดลยังเก่งไม่พอ”

จากนั้นก็เปลี่ยนโมเดล ไปใช้โมเดลที่ใหม่กว่า ใหญ่กว่า หรือโมเดลที่ประกาศว่ารองรับภาษาเวียดนาม แต่อาการยังคงอยู่ในรูปแบบเดิม จำนวนครั้งที่ค้นหาไม่เจออาจลดลงบ้างเล็กน้อย แต่เอกสารที่ค้นไม่เจอก็ยังคงค้นไม่เจออยู่ดี

เหตุผลนั้นเรียบง่าย เพราะโมเดลอยู่ปลายน้ำที่สุดของกระบวนการ สตริงที่พังตั้งแต่ต้นน้ำ หรือคำที่ถูกตัดอย่างไม่เหมาะสมตั้งแต่ต้นน้ำ จะกลายเป็นอินพุตของโมเดลทั้งอย่างนั้น ถ้าอินพุตพัง โมเดลไหนก็สะดุดที่จุดเดียวกัน ที่เปลี่ยนโมเดลแล้วไม่หาย ก็เพราะยังไม่มีใครลงมือแก้ในจุดที่ควรแก้

และภาษาเวียดนามมีเงื่อนไข 2 ข้อที่ไม่โผล่ขึ้นมาให้เห็นตอนที่เราจัดการกับภาษาญี่ปุ่นหรือภาษาอังกฤษ ข้อแรกคือ สตริงที่หน้าตาเหมือนกันแต่ข้างในต่างกันถูกผลิตออกมาเป็นจำนวนมาก อีกข้อคือ มีช่องว่างอยู่ก็จริง แต่ช่องว่างนั้นไม่ใช่ขอบเขตของคำ ทั้งสองข้อนี้เกิดขึ้นก่อนถึงโมเดลทั้งคู่

ในบทความนี้เราจะแบ่งการประมวลผลภาษาเวียดนามออกเป็น 4 ชั้น คือ ชั้นอักขระ ชั้นคำ ชั้นโทเค็น และชั้นความหมาย จุดประสงค์ของการแบ่งชั้นคือ เพื่อแยกให้ออกว่าอาการไหนเป็นปัญหาของชั้นใด แล้วตัดสินใจลำดับการแก้ได้ ถ้าลำดับผิด งบประมาณและเวลาส่วนใหญ่จะถูกดูดไปที่ชั้นสุดท้าย

การประมวลผลภาษาเวียดนามแบ่งได้เป็น 4 ชั้น — อักขระ คำ โทเค็น ความหมาย

กว่าเอกสารภาษาเวียดนามจะเดินทางไปถึง Generative AI มันต้องผ่าน 4 ชั้น ไล่จากต้นน้ำคือ ชั้นอักขระ ชั้นคำ ชั้นโทเค็น และชั้นความหมาย

ทั้ง 4 ชั้นนี้มีคุณสมบัติที่ต่างกันอยู่หลายข้อในเชิงการใช้งานจริง

ยิ่งต้นน้ำ ยิ่งทำครั้งเดียวแล้วได้ผลต่อเนื่อง การนอร์มัลไลซ์ในชั้นที่ 1 เมื่อวางไว้ที่ประตูทางเข้าแล้ว มันจะทำงานอัตโนมัติกับเอกสารที่เพิ่มขึ้นในภายหลังด้วย ในทางกลับกัน ค่าใช้โมเดลของชั้นที่ 3 จะเกิดขึ้นเรื่อย ๆ ตามปริมาณที่ใช้

ยิ่งต้นน้ำ ขอบเขตผลกระทบเมื่อพังยิ่งกว้าง ถ้าชั้นที่ 1 พัง ทั้งการค้นหา การสรุปยอด และการย่อความจะเพี้ยนพร้อมกัน แต่ถ้าอ่อนแค่ชั้นที่ 4 ผลกระทบจะจำกัดอยู่ที่คุณภาพของข้อความที่สร้างออกมาเท่านั้น

และยิ่งต้นน้ำ อาการยิ่งดูเหมือนความผิดของโมเดล ความล้มเหลวของชั้นที่ 1 และชั้นที่ 2 ออกมาในรูป “เป็นบางครั้ง” ความรับผิดจึงถูกโยนไปที่ปลายน้ำโดยที่ยังไม่มีการระบุสาเหตุ

ตรงนี้ขอปูความต่างเมื่อนำ 4 ชั้นนี้ไปใช้กับภาษาไทยไว้ก่อน ในภาษาไทย ปัญหาคือระหว่างคำกับคำไม่มีช่องว่าง เครื่องจึงต้อง “สร้างจุดแบ่งที่ไม่มีอยู่ขึ้นมาเอง” ภาษาเวียดนามกลับกัน ช่องว่างมีอยู่ แต่ช่องว่างนั้นไม่ใช่ขอบเขตของคำ หากเป็นขอบเขตของพยางค์ อักขรวิธีของภาษาเวียดนามวางช่องว่างระหว่างพยางค์ ไม่ใช่ระหว่างคำ ดังนั้นแม้ในกรณีที่หลายพยางค์ประกอบกันเป็นหนึ่งคำ บนสตริงมันก็ยังถูกตัดขาดด้วยช่องว่างอยู่ดี พูดอีกอย่างคือ สิ่งที่เครื่องต้องทำไม่ใช่ “สร้างจุดแบ่ง” แต่คือ “ตัดสินว่าในบรรดาจุดแบ่งที่มีอยู่แล้ว อันไหนคือขอบเขตของคำและอันไหนอยู่ภายในคำ แล้วรวมกลับเข้าด้วยกันใหม่” การเรียบเรียงโมเดล 4 ชั้นเดียวกันนี้ในบริบทภาษาไทย เราสรุปไว้ที่ จุดที่พังเมื่อ Generative AI ภาษาไทยความแม่นยำไม่ได้ตามที่คาด โครงสร้างของชั้นเหมือนกัน แต่เนื้องานที่ต้องทำในชั้นที่ 2 นั้นทิศทางตรงข้ามกัน

ความต่างนี้ส่งผลถึงการอิมพลีเมนต์ด้วย ในภาษาไทยอาการจะออกมาเป็น “ตัดมากไป ตัดน้อยไป” แต่ในภาษาเวียดนาม จุดตั้งต้นของอาการคือ การเอาช่องว่างมาใช้เป็นจุดแบ่งคำตรง ๆ กระบวนการที่แค่แบ่งด้วยช่องว่างนั้นทำงานผ่านได้ในทุกภาษา จึงไม่มีใครสงสัยตรงนั้น นี่คือเหตุผลใหญ่ที่สุดที่ทำให้การระบุสาเหตุในภาษาเวียดนามล่าช้า

ชั้นที่ 1 ชั้นอักขระ — ภาษาเวียดนามที่หน้าตาเหมือนกันแต่ข้างในต่างกัน

สิ่งที่ต้องทำในชั้นที่ 1 มีเพียงอย่างเดียว ทำให้สตริงที่มีความหมายเดียวกันมีลำดับไบต์เดียวกัน

ภาษาเวียดนามเขียนด้วยอักษรละติน ข้อเท็จจริงข้อนี้ทำให้เกิดความประมาท เพราะมันวางสมมติฐานว่าถ้าเป็นอักษรละตินก็น่าจะจัดการแบบเดียวกับภาษาอังกฤษได้ แต่อักขระของภาษาเวียดนามมีทั้งเครื่องหมายที่บอกชนิดของสระ และเครื่องหมายที่บอกวรรณยุกต์กำกับอยู่ และอักขระที่มีเครื่องหมายกำกับนั้น มีวิธีแทนค่าภายในคอมพิวเตอร์ได้หลายแบบ

Unicode มีแนวคิดที่เรียกว่ารูปแบบการนอร์มัลไลซ์ NFC (รูปแบบประกอบตามบรรทัดฐาน) คือการแทนสตริงที่ถูกแยกส่วนด้วยอักขระที่ประกอบเสร็จแล้วซึ่งแทนด้วยโค้ดพอยต์เดียว ส่วน NFD (รูปแบบแยกส่วนตามบรรทัดฐาน) กลับกัน คือการแยกอักขระที่ประกอบเสร็จแล้วออกเป็นอักขระฐานกับลำดับของอักขระผสม อักขระภาษาเวียดนามที่มีเครื่องหมายวรรณยุกต์กำกับจะถูกแยกออกเป็นหลายโค้ดพอยต์เมื่ออยู่ในรูป NFD

นั่นแปลว่า คำเดียวกันที่บนหน้าจอดูเหมือนกันทุกประการ อาจถูกบันทึกเป็น NFC ในเอกสารหนึ่ง และเป็น NFD ในอีกเอกสารหนึ่ง ซึ่งเกิดขึ้นเป็นเรื่องปกติ สำหรับสายตาคนคือสตริงเดียวกัน สำหรับคอมพิวเตอร์คือคนละสตริง

คำถามที่พบบ่อยของ VietUnicode อธิบายว่าความต่างของรูปแบบนี้ก่อให้เกิดอะไรขึ้นจริงบ้าง สรุปได้ว่า เครื่องหมายกำกับเสียงแบบผสมอาจหลุดออกจากอักขระฐานโดยไม่ได้ตั้งใจ และถ้ามีอักขระอื่นถูกพิมพ์แทรกเข้าไปในช่องว่างนั้นโดยผิดพลาด คำอย่าง tháng ก็จะแสดงผลออกมาในรูปแบบอย่าง than´g ได้ นอกจากนี้ คำถามที่พบบ่อยชุดเดียวกันยังพูดถึงการนับความยาวของสตริงด้วย อักขระ “ệ” หนึ่งตัว จะถูกนับเป็นสองถึงสามโค้ดพอยต์ในรูป NFD แต่จะถูกนับเป็นหนึ่งเสมอในรูป NFC หมายความว่าการตัดสินจำนวนอักขระเปลี่ยนไปตามรูปแบบที่บันทึก

คุณสมบัติที่ว่า “จำนวนอักขระเปลี่ยนตามรูปแบบ” นี้ ส่งผลแบบเงียบ ๆ แต่ชัดเจนในงานจริง ทั้งการจำกัดจำนวนตัวอักษรในช่องกรอกข้อมูล การจัดหลักของแบบฟอร์ม และการคำนวณความยาวสำหรับแบ่งชังก์ ทั้งหมดตั้งอยู่บนจำนวนอักขระ ดังนั้นเมื่อ NFC กับ NFD ปนกัน ผลลัพธ์จึงไม่ตรงกัน

นอกจากนี้ ภาษาเวียดนามยังมีความแปรผันของการเขียนในเรื่อง ตำแหน่งที่วางเครื่องหมายวรรณยุกต์ ด้วย รูปแบบเก่าวางเครื่องหมายวรรณยุกต์ไว้ในตำแหน่งใกล้ศูนย์กลางของคำ ส่วนรูปแบบใหม่วางไว้เหนือสระหลัก เช่น hóa กับ hoá และ hủy กับ huỷ ทั้งคู่เป็นคำเดียวกัน แต่ในฐานะสตริงคือคนละสิ่ง มีการระบุว่าตำราเรียนอย่างเป็นทางการใช้รูปแบบใหม่ ในขณะที่ภาษาเขียนในชีวิตประจำวันมีแนวโน้มนิยมรูปแบบเก่า นั่นแปลว่าในเอกสารภายในบริษัทจะมีทั้งสองแบบปนกัน

หน้างานเห็นอาการอย่างไร เมื่อนำข้อมูลหลักของเครื่องจักรมาจับคู่กับรายงานประจำวันภาษาเวียดนาม ผลลัพธ์จะขึ้นว่า “ไม่พบรายการที่ตรงกัน” ผู้รับผิดชอบเปิดดูทั้งสองฝั่งบนหน้าจอเทียบกัน ก็เห็นเป็นสตริงเดียวกันทุกประการ เรื่องจึงกลายเป็น “ระบบค้นหาผิดปกติ” แล้วไหลไปสู่การพูดถึงการตั้งค่าเสิร์ชเอนจินหรือเรื่องโมเดล ทั้งที่ความจริงคือฝั่งหนึ่งถูกบันทึกเป็น NFD เท่านั้น หรือตำแหน่งเครื่องหมายวรรณยุกต์ต่างกันระหว่างรูปแบบเก่ากับรูปแบบใหม่เท่านั้น

วิธีแก้ชั้นที่ 1 นั้นดูไม่หวือหวาในเชิงฟีเจอร์ คือทำให้ประตูทางเข้าของการนำข้อมูลเข้าเหลือทางเดียว แล้วบังคับให้ผ่านการนอร์มัลไลซ์ที่จุดนั้น พูดให้ชัดคือ รวมรูปแบบการนอร์มัลไลซ์ Unicode ให้เป็น NFC เลือกยึดตำแหน่งเครื่องหมายวรรณยุกต์เป็นรูปแบบใหม่หรือรูปแบบเก่าอย่างใดอย่างหนึ่ง ตรวจจับและแปลงสตริงที่มาจากการเข้ารหัสอักขระแบบเก่า และจัดตัวอักษรกับตัวเลขให้เป็นแบบเดียวกันทั้งเรื่องความกว้างและตัวพิมพ์ใหญ่เล็ก มีเท่านี้

สิ่งที่สำคัญคือ ตำแหน่งที่วาง ถ้าเขียนกระบวนการนอร์มัลไลซ์กระจายไว้ทั้งฝั่งค้นหา ฝั่งสรุปยอด และฝั่งย่อความ พอแก้ที่ใดที่หนึ่งแล้วที่อื่นจะไม่ตรงกัน การตกลงกันว่าให้ผ่านที่ประตูทางเข้าครั้งเดียว และปลายน้ำจากจุดนั้นจะจัดการเฉพาะสตริงที่นอร์มัลไลซ์แล้วเท่านั้น จะทำให้การดูแลระบบภายหลังง่ายกว่ามาก

จะรู้ได้ว่าชั้นที่ 1 แน่นหรือยัง ไม่ต้องดูด้วยตา แต่ดูด้วยตัวเลข ให้นับว่าคำที่ควรจะเป็นคำเดียวกันแตกออกเป็นสตริงกี่แบบ ตราบใดที่จำนวนนี้ยังลดลงได้ แปลว่างานในชั้นที่ 1 ยังเหลืออยู่

ชั้นที่ 2 ชั้นคำ — มีช่องว่าง แต่ช่องว่างนั้นไม่ใช่ขอบเขตของคำ

ตรงนี้คือชั้นที่สำคัญที่สุดของ Generative AI ภาษาเวียดนาม

อักขรวิธีของภาษาเวียดนามวางช่องว่างระหว่างพยางค์ ไม่ใช่ระหว่างคำ และมีจำนวนมากที่หลายพยางค์ประกอบกันขึ้นเป็นหนึ่งคำ ตัวอย่างเช่น คำที่แปลว่า “นักศึกษา” ประกอบด้วยสองพยางค์ และบนสตริงถูกเขียนแยกด้วยช่องว่าง สำหรับผู้เขียนมันคือหนึ่งคำ แต่เมื่อเครื่องแบ่งด้วยช่องว่าง มันจะกลายเป็นสองหน่วย

ถ้าคิดด้วยความรู้สึกแบบเดียวกับภาษาอังกฤษว่า “แบ่งด้วยช่องว่างก็พอ” รอยแยกแรกจะเกิดขึ้นตรงนี้ กระบวนการแบ่งด้วยช่องว่างไม่ส่งข้อผิดพลาดออกมา มันทำงานได้ เพียงแต่ผลลัพธ์ที่ถูกตัดออกมาไม่ใช่คำ แต่เป็นพยางค์ ถ้าสร้างดัชนีการค้นหา แบ่งชังก์ จับคู่คีย์เวิร์ด และประเมินความแม่นยำในสภาพนี้ ทั้งหมดจะทำงานบน “หน่วยพยางค์”

ในการประมวลผลภาษาธรรมชาติของภาษาเวียดนาม กระบวนการรวมพยางค์กลับเข้าเป็นคำนี้เรียกว่าการตัดคำ (word segmentation) ระบบที่จัดการภาษาเวียดนามจะต้องตัดสินใจเรื่องนี้ที่ใดที่หนึ่งเสมอ ไม่ว่าจะโดยตั้งใจหรือโดยปริยาย และการตัดสินใจว่า “จะใช้ช่องว่างเป็นขอบเขตตรง ๆ” ก็นับเป็นการตัดสินใจอย่างหนึ่งเช่นกัน

ปัญหาคือ กระบวนการที่พึ่งพาวิธีรวมคำนี้ไม่ได้มีแค่อย่างเดียว

• การสร้างดัชนีการค้นหา สร้างขึ้นโดยใช้คำที่ถูกรวมแล้วเป็นหน่วย
• การแบ่งชังก์ของ RAG ใช้ขอบเขตของคำและประโยคเป็นเบาะแสในการตัด
• การจับคู่คีย์เวิร์ดและการเทียบพจนานุกรม ต้องเอาคำที่ถูกรวมแล้วไปเทียบกับคำในพจนานุกรม
• การประเมินความแม่นยำ ก็เปรียบเทียบกับเฉลยด้วยหน่วยที่ถูกรวมแล้วเช่นกัน

นั่นแปลว่า ถ้าวิธีรวมคำเปลี่ยน ทั้ง 4 อย่างนี้จะเปลี่ยนพร้อมกัน พูดกลับกันคือ ถ้าวิธีรวมคำไม่ดี ทั้ง 4 อย่างจะพังพร้อมกัน ยิ่งไปกว่านั้น เพราะรูปแบบการพังไม่สม่ำเสมอ อาการจึงออกมาในรูป “ค้นหาแล้วเจอบ้างไม่เจอบ้าง”

ความสำคัญของชั้นนี้ยืนยันได้จากฝั่งของโมเดลที่สร้างขึ้นเพื่อภาษาเวียดนามโดยเฉพาะด้วย ในไฟล์ README ของ PhoBERT ที่ VinAI Research เผยแพร่ มีข้อความเตือนเขียนด้วยตัวพิมพ์ใหญ่ในทำนองว่า ข้อความอินพุต ต้องผ่านการตัดคำมาแล้วเท่านั้น ต้นฉบับเขียนว่า “INPUT TEXT MUST BE ALREADY WORD-SEGMENTED!” ข้อมูลที่ใช้ฝึกล่วงหน้าให้ PhoBERT คือข้อมูลที่ผ่านการนอร์มัลไลซ์วรรณยุกต์และการตัดคำด้วย RDRSegmenter ของ VnCoreNLP มาแล้ว และมีการแนะนำให้ใช้เครื่องมือตัดคำตัวเดียวกันในงานปลายน้ำด้วย

ตรงนี้คือประเด็นสำคัญในทางปฏิบัติ ยิ่งเป็นโมเดลที่สร้างขึ้นเพื่อภาษาเวียดนามโดยเฉพาะ ยิ่งตั้งอยู่บนสมมติฐานว่ามีการเตรียมข้อมูลมาก่อน ถ้าป้อนเข้าไปโดยไม่ผ่านการเตรียมข้อมูล ประสิทธิภาพที่โมเดลนั้นมีอยู่จริงจะไม่ออกมา แล้วเมื่อเห็นผลลัพธ์ที่ไม่ออก ก็จะมีการตัดสินว่า “โมเดลนี้อ่อนภาษาเวียดนาม” ทั้งที่สิ่งที่กำลังถูกประเมินไม่ใช่โมเดล แต่เป็นการเตรียมข้อมูลของบริษัทเราเอง

จุดที่วิธีรวมคำพังง่ายในเอกสารของฐานการผลิตในเวียดนาม คือตรงชื่อเฉพาะภายในองค์กร ทั้งชื่อเครื่องจักร ชื่อชิ้นส่วน รหัสย่อภายในบริษัท และชื่อไลน์ผลิต สิ่งเหล่านี้ไม่มีอยู่ในพจนานุกรมทั่วไป คำที่ไม่มีในพจนานุกรมจะถูกจัดการทั้งอย่างที่แยกเป็นพยางค์ หรือถูกรวมผิดเป็นการผสมของคำที่ใกล้เคียง และเพราะวิธีรวมคำเปลี่ยนไปตามบริบทหน้าหลัง ชื่อเครื่องจักรเดียวกันจึงแตกออกเป็นคนละหน่วยตามแต่ละเอกสาร

หน้างานเห็นอาการอย่างไร รายงานประจำวันของเครื่องจักรตัวเดียวกัน ปรากฏเป็นเครื่องจักรสองตัวในรายงานสรุป ผู้รับผิดชอบรายงานว่า “เครื่องที่มีอยู่ตัวเดียวขึ้นมาสองบรรทัด” แต่สาเหตุไม่ได้อยู่ที่ข้อมูลหลักของเครื่องจักรหรือการคีย์ข้อมูล หากอยู่ที่ตอนรวมเอกสารเป็นคำ ชื่อนั้นแตกออกเป็นสองแบบไปแล้ว

วิธีแก้ชั้นที่ 2 คือการสร้างพจนานุกรมชื่อเฉพาะภายในองค์กรแล้วให้ตัวตัดคำอ่าน งานนี้เป็นงานที่ต้องรวบรวมคลังคำร่วมกับพนักงานท้องถิ่นมากกว่าจะเป็นงานเชิงเทคนิค และเพราะทุกครั้งที่เครื่องจักรหรือชิ้นส่วนเพิ่มขึ้นก็ต้องเพิ่มคำเข้าไป งานนี้จึงไม่จบในครั้งเดียว

เรื่องการประกอบระบบค้นหาความรู้หลายภาษา เราเขียนไว้ที่ แนวทางสร้างระบบค้นหาความรู้ในโรงงานด้วย RAG ด้วยเช่นกัน เมื่อออกแบบระบบค้นหาที่รวมภาษาเวียดนามเข้าไปด้วย การตัดสินใจล่วงหน้าว่าจะรับประกันชั้นที่ 2 นี้ตรงจุดใด จะช่วยลดการย้อนกลับมาแก้ ขอให้ใส่การตรวจสอบว่า “ฝั่งคำถามกับฝั่งเอกสารผ่านกระบวนการคนละตัวอยู่หรือเปล่า” ไว้เป็นข้อแรก

จะอ่านค่าความแม่นยำของการตัดคำอย่างไร — เหตุผลที่ตัวเลขเปลี่ยนระหว่างเบนช์มาร์กกับข้อมูลจริง

การตัดคำภาษาเวียดนามมีเบนช์มาร์กที่เผยแพร่อยู่ ถ้าดูแค่ตัวเลข ปัญหานี้ดูเหมือนถูกแก้ไปแล้ว แต่ในความเป็นจริงมีเงื่อนไขที่ทำให้อ่านแบบนั้นไม่ได้

เริ่มจากเบนช์มาร์กอย่างเป็นทางการก่อน บนชุดทดสอบของ VLSP 2013 (2120 ประโยค) RDRsegmenter ซึ่งเป็นโมดูลตัดคำของ VnCoreNLP ทำได้ที่ F1 97.90% ส่วนระดับสูงสุด ณ ปัจจุบันบนเบนช์มาร์กเดียวกันคือ UITws-v1 ที่ F1 98.06% ถ้าดูแค่ตัวเลขชุดนี้ ก็ชวนให้สรุปว่าการตัดคำภาษาเวียดนามแก้ได้เกือบหมดแล้วในทางปฏิบัติ

ในทางกลับกัน บนเบนช์มาร์กอีกชุดหนึ่งกลับได้ตัวเลขที่ต่างออกไปมาก การเปรียบเทียบอิสระที่ใช้ Vietnamese Universal Dependencies Treebank (มากกว่า 800 ประโยค) รายงานผลว่า underthesea ได้ 80.04% VnCoreNLP ได้ 78.37% และ PyVi ได้ 57.88%

ตรงนี้ขอวางข้อสงวนที่สำคัญที่สุดไว้ก่อน ตัวเลขสองชุดนี้ใช้ข้อมูลประเมินคนละชุดกัน จึงอ่านเป็นการเปรียบเทียบภายใต้เงื่อนไขเดียวกันไม่ได้ การเอา 97.90% กับ 78.37% มาวางเรียงกันแล้วบอกว่า “พอเจอข้อมูลจริงแล้วตกไป 20 จุด” นั้นผิด ถ้าชุดทดสอบต่างกัน ความยาวประโยคก็ต่างกัน การกระจายของคลังคำก็ต่างกัน และนิยามของเฉลยก็ต่างกัน ตัวเลขเหล่านี้ไม่ได้แสดงว่าประสิทธิภาพของเครื่องมือตัวเดียวกันลดลง

ถึงอย่างนั้น การวางตัวเลขสองชุดนี้ไว้ด้วยกันก็ยังมีคุณค่า เพราะมันทำให้อ่านข้อเท็จจริงที่ว่า ความแม่นยำของการตัดคำเปลี่ยนแปลงได้มากตามข้อมูลที่ใช้ประเมิน ออกมาได้ และข้อเท็จจริงนี้เองคือสิ่งที่ต้องจับให้มั่นในงานจริง

เพื่อไม่ให้อ่านผิด ขอเรียบเรียงไว้ 3 ข้อ

ข้อแรก ตัวเลขสูง ๆ ของเบนช์มาร์กอย่างเป็นทางการแสดงเพดานของเครื่องมือ ไม่ใช่ประสิทธิภาพบนเอกสารของบริษัทเรา ชุดทดสอบของเบนช์มาร์กสร้างขึ้นจากเอกสารทั่วไป การกระจายของคลังคำจึงต่างจากคำที่โผล่ในรายงานประจำวันหรือบันทึกการตรวจสอบของเรา

ข้อสอง ความผิดพลาดไม่ได้กระจายอย่างสม่ำเสมอ คำทั่วไปที่มีอยู่ในพจนานุกรมหรือข้อมูลฝึกจะถูกรวมได้ดี ส่วนคำที่ไม่มีอยู่จะพัง และคำสำคัญที่โผล่ในเอกสารภายในองค์กร ส่วนใหญ่ก็คือคำที่ไม่มีอยู่นั่นเอง ทั้งชื่อเครื่องจักร ชื่อชิ้นส่วน รหัสย่อ และชื่อบริษัท พูดอีกอย่างคือเกิดโครงสร้างที่ว่า ยิ่งเป็นคำที่เราอยากให้แม่นที่สุดในเอกสารของเรา ยิ่งพังง่ายเมื่อใช้ค่าตั้งต้น เหตุผลที่นำตัวเลขจากเบนช์มาร์กสาธารณะมาใช้เป็นความแม่นยำของบริษัทเราตรง ๆ ไม่ได้ อยู่ตรงนี้

ข้อสาม การมีพจนานุกรมแบบไหน ได้ผลมากกว่าการเลือกใช้เครื่องมือตัวไหน ตัวเลขข้างต้นเป็นการเปรียบเทียบระหว่างเครื่องมือ แต่ความต่างบนเอกสารของบริษัทเราขยับตามการมีหรือไม่มีพจนานุกรมชื่อเฉพาะมากกว่าความต่างของเครื่องมือ แทนที่จะทุ่มเวลาไปกับการคัดเลือกเครื่องมือ ควรสร้างพจนานุกรมก่อน

ข้อสรุปในเชิงปฏิบัติเรียบง่าย ถ้าใช้การตัดคำแบบค่าตั้งต้นตรง ๆ มันจะพังตรงคลังคำของบริษัทเรา ดังนั้นจึงต้องเติมพจนานุกรม แล้ววัดผลของสิ่งที่เติมเข้าไปด้วยเอกสารของบริษัทเราเอง นี่คือเนื้องานของชั้นที่ 2

ชั้นที่ 3 ชั้นโทเค็น — ความเข้ากันได้ระหว่างตัวตัดโทเค็นทั่วไปกับภาษาเวียดนาม

ชั้นที่ 3 คือชั้นที่แบ่งข้อความออกเป็นหน่วยที่โมเดลใช้นับ ชั้นนี้ส่งผลต่อ ค่าใช้จ่ายและปริมาณที่ใส่เข้าไปได้ มากกว่าจะส่งผลต่อความแม่นยำโดยตรง

ตัวตัดโทเค็นที่โมเดลภาษาขนาดใหญ่แบบทั่วไปใช้ ถูกสร้างขึ้นให้เข้ากับการกระจายของข้อมูลฝึก ตัวตัดโทเค็นที่สร้างจากข้อมูลซึ่งภาษาอังกฤษครองสัดส่วนใหญ่ จะแปลงภาษาอังกฤษเป็นลำดับโทเค็นสั้น ๆ ได้อย่างมีประสิทธิภาพ ในทางกลับกัน ภาษาที่ไม่ใช่แบบนั้นจะมีแนวโน้มที่หนึ่งคำถูกแยกออกเป็นหลายโทเค็น ภาษาเวียดนามใช้อักขระที่มีเครื่องหมายวรรณยุกต์กำกับเป็นจำนวนมาก จึงเป็นภาษาที่ได้รับผลกระทบนี้ได้ง่าย

ในแง่ตัวเลขที่เป็นรูปธรรม มีรายงานว่าตัวตัดโทเค็นแบบ byte-level BPE ของ GPT-4 ต้องใช้จำนวนโทเค็นสำหรับภาษาเวียดนามมากเป็น 2.5 เท่า ของภาษาอังกฤษ อย่างไรก็ตาม ตัวเลขนี้ต้องมีหมายเหตุเรื่องเส้นทางการอ้างอิงกำกับไว้ ตัวเลข 2.5 เท่านี้ เป็นสิ่งที่บทความวิชาการฉบับหลังซึ่งอ้างอิงถึง (arXiv 2606.15044) ระบุไว้ ในฐานะผลการวิเคราะห์จากบทความ NeurIPS ปี 2023 ของ Petrov และคณะ (Language Model Tokenizers Introduce Unfairness Between Languages) บทความนี้ไม่ได้เขียนขึ้นบนพื้นฐานของการตรวจสอบตารางในบทความของ Petrov โดยตรง เวลาอ้างอิงต่อ ขอให้ส่งต่อเส้นทางการอ้างอิงนี้ไปด้วย

อีกหนึ่งเรื่องที่ขอกันความสับสนไว้ ตัวเลข 2.5 เท่านี้คือ “อัตราส่วนที่ได้จากการเทียบภาษาเวียดนามกับภาษาอังกฤษ บนตัวตัดโทเค็นทั่วไปของ GPT” ส่วนอัตราส่วนที่พูดถึงในบทความเรื่องภาษาไทยนั้นคือ “ความต่างของประสิทธิภาพเมื่อประมวลผลเอกสารภาษาไทยชุดเดียวกันด้วยตัวตัดโทเค็นทั่วไปกับตัวตัดโทเค็นเฉพาะภาษาไทย” ซึ่งเป็นแกนการเปรียบเทียบคนละแบบโดยสิ้นเชิง ห้ามนำการเปรียบเทียบระหว่างภาษากับการเปรียบเทียบระหว่างตัวตัดโทเค็นมาวางในตารางเดียวกัน ทันทีที่วางเรียงกัน ตัวเลขทั้งสองจะสูญเสียความหมาย

สถานการณ์ที่ความต่างนี้ส่งผลในงานจริงมีอยู่ 2 แบบ

การเรียกเก็บเงิน ในโมเดลที่คิดค่าใช้จ่ายตามปริมาณ จำนวนโทเค็นจะแปลงเป็นจำนวนเงินตรง ๆ ในการใช้งานที่มีปริมาณเอกสารมาก เช่น การให้อ่านบันทึกการตรวจสอบย้อนหลังหลายปีทุกวัน อัตราส่วนนี้จะกลายเป็นส่วนต่างของค่าดำเนินงานโดยตรง

ปริมาณที่ใส่ในคอนเท็กซ์ได้ จำนวนหน้าของเอกสารภาษาเวียดนามที่ใส่ลงในกรอบความยาวคอนเท็กซ์เท่ากันได้จะเปลี่ยนไป ใน RAG เราส่งเอกสารที่ค้นเจอไปให้โมเดล ถ้าประสิทธิภาพโทเค็นแย่ จำนวนเอกสารที่ส่งได้จะลดลง เมื่อเอกสารที่ส่งได้ลดลง หลักฐานที่รองรับคำตอบก็บางลง ชั้นที่ 3 จึงแตะถึงความแม่นยำโดยอ้อมผ่านเส้นทางนี้

อย่างไรก็ตาม ชั้นที่ 3 เป็น ตัวคูณ ไม่ใช่สาเหตุ ถ้าชั้นที่ 2 พังจนการค้นหาหยิบเอกสารที่ถูกต้องขึ้นมาไม่ได้ ต่อให้ยัดเอกสารนั้นเข้าไปอย่างมีประสิทธิภาพ คำตอบก็ไม่ดีขึ้น การเลือกตัวตัดโทเค็นจึงควรถูกจัดเป็นการปรับให้เหมาะสมหลังจากที่ต้นน้ำแน่นแล้ว ซึ่งเป็นลำดับที่เป็นธรรมชาติกว่า

ชั้นที่ 4 ชั้นความหมาย — ตรงนี้แหละที่เพิ่งจะเริ่มเลือกโมเดล

ชั้นที่ 4 คือชั้นของการตีความสตริงที่ได้รับมาและการสร้างข้อความออกไป อาการที่จัดอยู่ในชั้นนี้มีดังนี้

• สำนวนแปลแข็ง เป็นแบบแปลตรงตัว ไม่ออกมาเป็นถ้อยคำที่ใช้กันภายในบริษัท
• ไม่ทำตามคำสั่ง ระบุรูปแบบไปแล้วก็ไม่รักษารูปแบบ
• เขียนเนื้อหาที่ไม่มีอยู่ในแหล่งอ้างอิง
• ระดับของคำสรรพนามและความสุภาพไม่สม่ำเสมอ สำนวนลอยไม่เข้ากับคู่สนทนาหรือสถานการณ์

มีวิธีแยกแยะว่าใช่ปัญหาของชั้นที่ 4 หรือไม่ ถ้าให้คนจัดอินพุตเดียวกันด้วยมือแล้วส่งเข้าไป แล้วอาการหาย นั่นคือปัญหาของต้นน้ำ ถ้าให้คนเลือกเอกสารที่ค้นเจอใหม่แล้วตอบได้ถูกต้อง สิ่งที่แย่คือฝั่งการค้นหาในชั้นที่ 2 ถ้าให้คนแก้ความแปรผันของการเขียนหรือความไม่ตรงกันของรูปแบบการนอร์มัลไลซ์แล้วผ่าน นั่นคือชั้นที่ 1 ถ้าแม้แต่อินพุตที่คนจัดให้แล้วก็ยังพังแบบเดิม ตอนนั้นแหละจึงค่อยเป็นเรื่องของชั้นที่ 4

ถ้าเปรียบเทียบโมเดลโดยไม่ทำการแยกแยะนี้ก่อน ข้อสรุปของการเปรียบเทียบจะเชื่อถือไม่ได้ เพราะเมื่อเทียบสองโมเดลในสภาพที่ต้นน้ำยังแกว่ง เราจะแยกไม่ออกว่าที่เกิดส่วนต่างขึ้นนั้นเป็นเพราะความต่างของโมเดล หรือเป็นเพราะเอกสารที่บังเอิญค้นเจอต่างกัน

ในกรณีของภาษาเวียดนาม การแยกแยะนี้ต้องระวังเพิ่มอีกขั้นหนึ่ง อย่างที่เห็นในหัวข้อก่อนหน้า โมเดลที่สร้างขึ้นเพื่อภาษาเวียดนามมีบางตัวที่ ตั้งอยู่บนสมมติฐานว่าอินพุตผ่านการตัดคำมาแล้ว ถ้าเปรียบเทียบโดยไม่ผ่านการเตรียมข้อมูล โมเดลที่ไม่ได้ตั้งอยู่บนสมมติฐานเรื่องการเตรียมข้อมูลอาจให้ตัวเลขที่ดีกว่า นั่นไม่ใช่ความต่างของฝีมือโมเดล แต่เป็นความต่างของการมีหรือไม่มีการเตรียมข้อมูล ต้องให้ทุกโมเดลที่นำมาเทียบผ่านการเตรียมข้อมูลแบบเดียวกัน และต้องอ่านเงื่อนไขการเตรียมข้อมูลที่แต่ละโมเดลเรียกร้องเสียก่อน การเปรียบเทียบที่ไม่รักษาสองข้อนี้ ข้อสรุปจะกลับด้าน

สิ่งที่ใช้เป็นวัตถุดิบในการตัดสินใจในชั้นที่ 4 คือค่าที่วัดได้จริงบนชุดข้อมูลประเมินผลของบริษัทเราเอง อันดับบนเบนช์มาร์กสาธารณะใช้เป็นวัตถุดิบสำหรับคัดกรองตัวเลือกได้ แต่บางครั้งก็ไม่ตรงกับอันดับบนเอกสารและงานจริงของบริษัทเรา

ตำแหน่งปัจจุบันของโมเดลที่เก่งภาษาเวียดนาม — PhoGPT, Viettel และ SEA-LION

ขอเรียบเรียงกลุ่มโมเดลที่ทุ่มเทให้กับภาษาเวียดนาม เฉพาะในขอบเขตที่ตรวจสอบได้ สิ่งที่ตรวจสอบไม่ได้ เราจะเขียนว่าตรวจสอบไม่ได้

ขอเสริมอีกหลายข้อ

จำนวนพารามิเตอร์ของ PhoGPT ระหว่างชื่อเรียกกับจำนวนจริงนั้นต่างกัน ชื่อเรียกคือ PhoGPT-4B แต่สิ่งที่บทความวิชาการระบุไว้คือ 3.7 พันล้าน (3.7B) พารามิเตอร์ ถ้าเขียนแค่ “4B” ในเอกสารเปรียบเทียบภายในบริษัท การเทียบขนาดกับโมเดลของเจ้าอื่นจะคลาดเคลื่อนไปเล็กน้อย ดูเหมือนเป็นเรื่องหยุมหยิม แต่มันส่งผลในสถานการณ์ที่ต้องวางประมาณการขนาดกับต้นทุนเรียงกัน ค่าจำนวนคำศัพท์ 20480 และความยาวคอนเท็กซ์ 8192 ก็เป็นข้อสมมติพื้นฐานเวลานำไปวางเทียบกับโมเดลอื่นเช่นกัน

ขอให้ระวังว่าการเปิดตัวของ Viettel นั้นอยู่บนฐานของรายงานข่าว ข้อมูลที่ว่ามีการเปิดตัวโมเดลขนาด 120 พันล้านพารามิเตอร์เมื่อวันที่ 4 มิถุนายน 2026 นั้นมาจากรายงานของสื่อมวลชนเวียดนาม ไม่ใช่สิ่งที่ตรวจสอบจากเอกสารทางเทคนิคของ Viettel เอง ดังนั้นบทความนี้จะไม่เขียนอะไรเลยเกี่ยวกับประสิทธิภาพหรืออันดับบนเบนช์มาร์กของโมเดลนี้ สิ่งที่เกินไปกว่าข้อเท็จจริงว่า “มีการเปิดตัว” ขอให้รอตัดสินหลังจากมีข้อมูลปฐมภูมิออกมา

อันดับของ SEA-LION เป็นการประกาศของบริษัทเจ้าของเอง ข้อความที่ว่าอยู่อันดับ 5 จาก 55 โมเดลบน SEA-HELM และอันดับ 1 ในกลุ่มโมเดลเปิดที่มีพารามิเตอร์ต่ำกว่า 200B นั้นมาจาก AI Singapore เอง เนื่องจากเป็นโครงสร้างที่ฝ่ายซึ่งจัดทำเบนช์มาร์กเป็นผู้ประกาศอันดับของโมเดลตัวเอง จึงขอให้เลี่ยงการนำไปใส่ในเอกสารภายในบริษัทในฐานะ “การประเมินอย่างเป็นกลาง” ตรง ๆ วิธีใช้ที่ปลอดภัยคืออ้างอิงเป็นประตูสำหรับคัดกรองตัวเลือก แล้วตัดสินขั้นสุดท้ายด้วยชุดข้อมูลประเมินผลของบริษัทเราเอง

จำนวนโมเดลที่ SEA-HELM ประเมิน แสดงถึงความกว้างของตัวเลือก ณ วันที่ 5 สิงหาคม 2026 มีการประเมินโมเดลแบบเปิดน้ำหนัก 61 โมเดล และแบบปิดน้ำหนัก 9 โมเดล นั่นแปลว่าตัวเลือกที่จัดการภาษาเวียดนามได้มีจำนวนมากพอที่จำเป็นต้องคัดกรองแล้ว พลิกกลับก็คือ ถ้าเริ่มเปรียบเทียบโดยไม่มีเกณฑ์คัดกรองตัวเลือก มันจะไม่มีวันจบ

สิ่งที่ควรตัดสินใจก่อนในการเลือกโมเดล ไม่ใช่อันดับ แต่เป็นเงื่อนไขข้อจำกัด เอกสารส่งออกนอกบริษัทได้หรือไม่ ต้องวางโมเดลไว้ในสภาพแวดล้อมของบริษัทเองหรือไม่ ความต้องการด้านความเร็วในการตอบสนองเป็นอย่างไร ต้องจัดการทั้งภาษาญี่ปุ่นและภาษาอังกฤษในกรอบเดียวกันด้วยไหม ไม่ใช่แค่ภาษาเวียดนาม เมื่อตรงนี้ชัดแล้ว ตัวเลือกจะแคบลงเหลือไม่กี่ตัว จากนั้นจึงเป็นการวัดจริงบนชุดข้อมูลประเมินผล

แยกตามลักษณะการใช้งาน แก้ชั้นไหนแล้วได้ผล

ตรงนี้คือหัวใจของบทความนี้ แม้จะเป็น “Generative AI ภาษาเวียดนามความแม่นยำไม่ได้ตามที่คาด” เหมือนกัน แต่ชั้นที่ครอบงำปัญหาจะต่างกันไปตามลักษณะการใช้งาน ถ้าลงมือแก้โดยพลาดชั้นที่ครอบงำอยู่ ผลลัพธ์จะกลายเป็นว่าจ่ายเงินไปแล้วอาการไม่เปลี่ยน

ต่อไปจะดูรายละเอียดของทั้ง 6 ลักษณะการใช้งานทีละข้อ

ค้นหาเอกสารภายในองค์กร (RAG) — ชั้นที่ 2 ครอบงำ

RAG คือกลไกที่ค้นหาเอกสารซึ่งเกี่ยวข้องกับคำถามขึ้นมา แล้วส่งเอกสารนั้นให้โมเดลตอบ ด้วยโครงสร้างแบบนี้ โมเดลทำอะไรกับเอกสารที่การค้นหาพลาดไปไม่ได้เลย เอกสารที่หยิบขึ้นมาไม่ได้ก็เหมือนไม่มีอยู่

สาเหตุส่วนใหญ่ที่ RAG ภาษาเวียดนามค้นหาไม่เจอ อยู่ที่ชั้นที่ 2 วิธีรวมคำของประโยคคำถามกับวิธีรวมคำของฝั่งเอกสารไม่ตรงกัน โดยเฉพาะเมื่อชื่อเฉพาะภายในองค์กรแตกออกเป็นคนละหน่วยในสองฝั่ง คีย์เวิร์ดที่ควรจะตรงกันก็จะไม่ตรงกัน

ตรงนี้ขอทบทวนความต่างจากภาษาไทยอีกครั้ง ในภาษาไทย เครื่องต้องสร้างจุดแบ่งขึ้นในที่ที่ไม่มีจุดแบ่ง ส่วนในภาษาเวียดนาม ต้องเอาสิ่งที่ถูกแบ่งด้วยช่องว่างอยู่แล้ว มารวมกลับใหม่ด้วยเกณฑ์ว่าถึงตรงไหนนับเป็นหนึ่งคำ เพราะทิศทางของงานตรงข้ามกัน การยกแบบที่ใช้กับภาษาไทยมาใช้ตรง ๆ จึงเข้ากันไม่ได้ โดยเฉพาะกระบวนการค่าตั้งต้นที่ว่า “แบ่งด้วยช่องว่าง” นั้น ในภาษาเวียดนามมันจะทำงานผ่านโดยไม่ส่งข้อผิดพลาดใด ๆ ออกมา แถมผลลัพธ์ยังเป็นหน่วยพยางค์ เพราะไม่มีข้อผิดพลาดออกมา การค้นพบจึงล่าช้ากว่าภาษาไทย

ชั้นที่ได้ผลดี คือชั้นที่ 1 และชั้นที่ 2 จัดอักขระให้ตรงกัน แล้วรวมพยางค์ให้เป็นคำ เมื่อแก้ตรงนี้ เอกสารที่เคยค้นไม่เจอจะเริ่มค้นเจอ ส่วนชั้นที่ 3 ส่งผลต่อ “ปริมาณเอกสารที่ส่งได้” จึงทำให้ความหนาของหลักฐานเพิ่มขึ้น

ชั้นที่แทบไม่ได้ผล คือการเปลี่ยนโมเดลในชั้นที่ 4 เปลี่ยนโมเดลไปผลการค้นหาก็ไม่เปลี่ยน เปลี่ยนแค่สำนวนของคำตอบ ส่วนอาการที่ว่า “ไม่เจอเอกสารนั้น” ยังคงอยู่

ชั้นที่ควรลงมือก่อน คือชั้นที่ 2 สร้างพจนานุกรมชื่อเฉพาะภายในองค์กร แล้วให้ฝั่งคำถามกับฝั่งเอกสารผ่านการตัดคำตัวเดียวกัน แค่นี้อัตราการค้นเจอก็เปลี่ยนแล้ว

แชทบอท — ชั้นที่ 2 จับ ชั้นที่ 4 ตอบ

บอทตอบคำถามสำหรับใช้ภายในองค์กรคร่อมสองชั้นพร้อมกัน ครึ่งแรกคือกระบวนการจับว่า “กำลังถูกถามอะไร” ซึ่งได้รับผลจากชั้นที่ 2 ครึ่งหลังคือ “จะตอบอย่างไร” ซึ่งเป็นชั้นที่ 4

อาการที่พบบ่อยในแชทบอทภาษาเวียดนามคือ พอถามคำถามเดียวกันด้วยสำนวนที่ต่างออกไปแล้วจับไม่ได้ ประโยคคำถามสั้นกว่ารายงานประจำวัน เป็นภาษาพูด และมีความแปรผันของการพิมพ์เครื่องหมายวรรณยุกต์ปนอยู่ ยิ่งประโยคสั้น ความล้มเหลวของวิธีรวมคำยิ่งกระทบผลลัพธ์เต็ม ๆ นอกจากนี้ การพิมพ์จากสมาร์ตโฟนบางครั้งก็ส่งข้อความที่เครื่องหมายวรรณยุกต์หลุดหายมา จึงจำเป็นต้องกำหนดขอบเขตการดูดซับของชั้นที่ 1 ไว้ด้วย

ชั้นที่ได้ผลดี คือชั้นที่ 2 และชั้นที่ 4 มีพจนานุกรมคลังคำของคำถามที่เข้ามาในชั้นที่ 2 และจัดแม่แบบของวิธีตอบในชั้นที่ 4 ชั้นที่แทบไม่ได้ผล คือชั้นที่ 3 เพราะประโยคต่อหนึ่งรายการสั้น ความต่างของตัวตัดโทเค็นจึงไม่ส่งผลมากทั้งต่อจำนวนเงินและต่อความยาวคอนเท็กซ์ ชั้นที่ควรลงมือก่อน คือชั้นที่ 2 และให้เก็บคลังคำจากคำถามที่เข้ามาจริงเป็นหลัก

สิ่งที่เราเรียบเรียงเรื่องแชทบอทหลายภาษาในแง่ค่าใช้จ่ายและขั้นตอนการทำงาน อยู่ที่ ค่าใช้จ่ายและแนวทางนำแชทบอทหลายภาษาเข้ามาใช้ในองค์กร เพราะชั้นที่ต้องรับประกันแตกต่างกันไปตามภาษา การถักเรื่องนี้เข้าไปในการออกแบบจะทำให้การดำเนินงานมีเสถียรภาพ

รายงานการประชุมและการถอดเสียง — ชั้นที่ 1 และชั้นที่ 4

ในการใช้งานที่แปลงการประชุมภาษาเวียดนามเป็นข้อความ ขั้นแรกคือการถอดเสียงเป็นข้อความ จากนั้นจึงต่อด้วยการย่อความและการดึงข้อสรุปออกมา

ชั้นที่ได้ผลดี คือชั้นที่ 1 และชั้นที่ 4 ทันทีหลังการถอดเสียง ข้อความที่ออกมาจะอยู่ในสภาพที่การเขียนแปรผัน ชื่อคน ชื่อเครื่องจักร และชื่อบริษัท กลายเป็นหลายรูปแบบภายในการประชุมครั้งเดียวกัน ในภาษาเวียดนาม แหล่งกำเนิดหลักของความแปรผันคือการมีหรือไม่มีเครื่องหมายวรรณยุกต์และตำแหน่งที่วาง ถ้าไม่จัดตรงนี้ด้วยชั้นที่ 1 คนคนเดียวกันอาจถูกนับเป็นสองคนในการย่อความขั้นถัดไป หรือข้อสรุปเดียวกันอาจถูกวางเรียงเป็นคนละรายการ ส่วนชั้นที่ 4 ส่งผลต่อการแยกผู้พูดและคุณภาพของการย่อความ

ชั้นที่แทบไม่ได้ผล คือชั้นที่ 3 อย่างไรก็ตาม ชั้นที่ 2 นั้นพูดว่า “ไม่ได้ผล” ไม่ได้เต็มปาก ถ้าจะใช้งานโดยให้ค้นหารายงานการประชุมย้อนหลังได้ ณ จุดนั้นชั้นที่ 2 จะเริ่มมีผล ถ้าเข้าใจตามลำดับว่าเฉพาะการถอดเสียงอย่างเดียวผลของชั้นที่ 2 มีน้อย แต่จะมีผลทันทีที่เอาการค้นหาหรือการสรุปยอดมาต่อ ก็จะไม่ตัดสินใจผิด

ชั้นที่ควรลงมือก่อน คือชั้นที่ 1 และเจาะจงที่การรวมรูปแบบเครื่องหมายวรรณยุกต์ของชื่อคนและชื่อเครื่องจักรที่โผล่ในการประชุม

OCR เอกสารแบบฟอร์ม — ชั้นที่ 1 ครอบงำ

ใบส่งของ ใบรายงานผลการตรวจสอบ ใบสั่งงาน เป็นการใช้งานที่ดึงข้อมูลจากกระดาษหรือ PDF ตรงนี้เป็นขอบเขตที่พูดได้ว่า ชั้นที่ 1 คือเกือบทั้งหมด

ในข้อความที่เพิ่งอ่านออกมา NFC กับ NFD จะปนกัน ตำแหน่งเครื่องหมายวรรณยุกต์แปรผันระหว่างรูปแบบเก่ากับรูปแบบใหม่ และในสตริงที่มาจากรูปแบบเอกสารเก่าจะมีอักขระเพี้ยนที่มาจากการเข้ารหัสแบบเก่าปนอยู่ ถ้าป้อนข้อมูลในสภาพนี้เข้าระบบหลัก ความผิดปกติจะเรียงกันมา ทั้งเลขล็อตไม่ตรงกัน และชื่อคู่ค้าถูกลงทะเบียนเป็นคนละบริษัท

ชั้นที่ได้ผลดี คือชั้นที่ 1 ทั้งการรวมรูปแบบการนอร์มัลไลซ์ การรวมรูปแบบการเขียนเครื่องหมายวรรณยุกต์ และการตรวจจับกับแปลงการเข้ารหัสแบบเก่า นอกจากนี้ ความแม่นยำของการอ่านตัวอักษรเองเป็นเรื่องของฝั่งโมเดลในชั้นที่ 4 การตัดสินใจว่าจะใช้โมเดลที่จัดการ OCR ได้หรือไม่ก็อยู่ตรงนี้

ชั้นที่แทบไม่ได้ผล คือชั้นที่ 2 ค่าของช่องรายการในแบบฟอร์มส่วนใหญ่ไม่จำเป็นต้องรวมเป็นคำตั้งแต่แรก การตัดคำรหัสสินค้าหรือจำนวนไม่ได้อะไรขึ้นมา ชั้นที่ 2 จะเข้ามาเกี่ยวข้องบางส่วนก็เฉพาะกรณีที่ใช้การจับคู่คำในการเทียบชื่อรายการเท่านั้น

ชั้นที่ควรลงมือก่อน คือชั้นที่ 1 และเจาะจงที่การรวมเป็น NFC กับการดูดซับความแปรผันของตำแหน่งเครื่องหมายวรรณยุกต์ สองข้อนี้อาการเข้าใจง่าย และมาตรการรับมือก็ทำเป็นแบบแผนได้ จึงคุ้มค่าที่จะวางไว้เป็นลำดับแรกของการลงมือ

การแปล — ชั้นที่ 4 ครอบงำ

การแปลจากภาษาญี่ปุ่นเป็นภาษาเวียดนาม และจากภาษาเวียดนามเป็นภาษาญี่ปุ่น เป็นการใช้งานที่ เอนไปทางชั้นที่ 4 มากที่สุดในบรรดา 6 ลักษณะการใช้งานที่ยกมา ทั้งความเป็นธรรมชาติของคำแปล ความสม่ำเสมอของศัพท์ และระดับของคำสรรพนามกับความสุภาพ ล้วนถูกกำหนดด้วยคุณภาพการตีความและการสร้างข้อความของโมเดล

ชั้นที่ได้ผลดี คือชั้นที่ 4 ทั้งการใส่คลังศัพท์ให้ การเปลี่ยนคำสั่งตามประเภทของเอกสาร และการเปรียบเทียบโมเดล ชั้นที่ 1 ก็ได้ผลเช่นกัน แต่บทบาทของมันคือการทำความสะอาดอินพุต ถ้าส่งเข้าไปทั้งที่รูปแบบการนอร์มัลไลซ์ปนกัน การจัดการฝั่งโมเดลจะไม่มีเสถียรภาพ

ชั้นที่แทบไม่ได้ผล คือชั้นที่ 2 ในการแปลเราส่งทั้งประโยคเข้าไป จึงโดยพื้นฐานแล้วไม่จำเป็นต้องคั่นการตัดคำของตัวเองเข้าไป ทุ่มแรงงานตรงนี้ไปคำแปลก็ไม่ดีขึ้น อย่างไรก็ตาม กรณีที่ใช้โมเดลซึ่งตั้งอยู่บนสมมติฐานว่าอินพุตผ่านการตัดคำมาแล้วถือเป็นข้อยกเว้น ขอให้อ่านข้อกำหนดของโมเดลที่จะใช้เสียก่อน

ชั้นที่ควรลงมือก่อน คือชั้นที่ 4 และเจาะจงที่การจัดคลังศัพท์และการจัดประเภทเอกสาร ถ้าแปลสัญญา คู่มือขั้นตอนการทำงาน และหนังสือติดต่อภายในด้วยการตั้งค่าเดียวกัน จะต้องมีอย่างใดอย่างหนึ่งที่ลอยออกมาแน่นอน

การจำแนกและการสรุปยอด — ชั้นที่ 1 และชั้นที่ 2

เป็นการใช้งานที่สรุปยอดรายงานประจำวันหรือรายงานความผิดปกติภาษาเวียดนามแยกตามหมวดหมู่ ตรงนี้ถูกกำหนดด้วยการผสมกันของชั้นที่ 1 และชั้นที่ 2

การสรุปยอดให้ผลลัพธ์ต่างกันตามว่าคำที่เป็นคีย์ตรงกันหรือไม่ ถ้าชื่อเครื่องจักรแตกออกเป็นสตริงสองแบบ ยอดสรุปจะแยกเป็นสองบรรทัด และถ้าวิธีรวมคำไม่มีเสถียรภาพ ความผิดปกติเดียวกันจะเข้าไปอยู่คนละหมวด ชั้นที่ได้ผลดี คือชั้นที่ 1 และชั้นที่ 2 ในภาษาเวียดนาม การแตกตัวในชั้นที่ 1 เกิดขึ้นบน 2 แกน คือ “NFC กับ NFD” และ “รูปแบบใหม่กับรูปแบบเก่า” คำเดียวกันจึงแตกออกเป็นสามแบบขึ้นไปได้

ชั้นที่แทบไม่ได้ผล คือชั้นที่ 4 เปลี่ยนโมเดลไป ข้อเท็จจริงที่ว่าเครื่องจักรตัวเดียวกันแตกเป็นสองตัวตั้งแต่ขั้นอินพุตก็ไม่เปลี่ยน ต่อให้ออกแบบให้โมเดลเป็นผู้ตัดสินการจำแนกเอง มันก็ไม่ดูดซับความแปรผันของอินพุตให้

ชั้นที่ควรลงมือก่อน คือชั้นที่ 1 และเจาะจงที่การรวมคำที่เป็นคีย์ของการสรุปยอดให้เป็น NFC ทั้งชื่อเครื่องจักร ชื่อไลน์ผลิต และประเภทของความผิดปกติ แค่จัดสามอย่างนี้ให้ตรงกัน ผลสรุปก็จะเข้าใกล้ความรู้สึกของหน้างานแล้ว

สิ่งที่พูดได้ข้ามลักษณะการใช้งานมีอยู่ข้อเดียว เมื่อดูคอลัมน์ “ชั้นที่ควรลงมือก่อน” ในตาราง จะเห็นรูปแบบว่า การใช้งานที่ควรวางการเลือกโมเดลไว้เป็นก้าวแรกมีแค่การแปลเท่านั้น ส่วนอีก 5 การใช้งานที่เหลือล้วนเริ่มลงมือจากชั้นที่ 1 หรือชั้นที่ 2 แชทบอทกับรายงานการประชุมมีชั้นที่ 4 วิ่งคู่ขนานไปด้วย แต่ถึงอย่างนั้นสิ่งที่แตะก่อนก็คือต้นน้ำ ก้าวแรกที่ว่า “เปลี่ยนโมเดลก่อน” นั้นพลาดลำดับไปแล้วใน 5 จาก 6 การใช้งาน

5 หลุมพรางที่เป็นลักษณะเฉพาะของภาษาเวียดนาม

ขอแปลงการอภิปรายเรื่องชั้นทั้งหมดข้างต้นให้เป็นอาการที่เป็นรูปธรรม สิ่งที่สะดุดง่ายในเอกสารของฐานการผลิตในเวียดนามมี 5 ข้อดังนี้

ความแปรผันของตำแหน่งเครื่องหมายวรรณยุกต์ — คำเดียวกันมีอยู่สองรูปแบบการเขียน

เครื่องหมายวรรณยุกต์ของภาษาเวียดนามมีธรรมเนียมการวาง 2 แบบ รูปแบบเก่าวางเครื่องหมายวรรณยุกต์ไว้ในตำแหน่งใกล้ศูนย์กลางของคำ ส่วนรูปแบบใหม่วางไว้เหนือสระหลัก เช่น hóa กับ hoá และ hủy กับ huỷ เป็นคำเดียวกัน แต่ในฐานะสตริงคือคนละสิ่ง มีการระบุว่าตำราเรียนอย่างเป็นทางการใช้รูปแบบใหม่ ในขณะที่ภาษาเขียนในชีวิตประจำวันมีแนวโน้มนิยมรูปแบบเก่า

หน้างานเห็นอาการอย่างไร การค้นหาแบบตรงกันทุกตัวอักษรจะไม่ผ่าน การตรวจจับรายการซ้ำไม่ทำงาน สินค้ารายการเดียวกันถูกลงทะเบียนเป็นสองรายการ ในการสรุปยอดคีย์เวิร์ด คำเดียวกันจะแยกออกมาเป็นสองบรรทัด ผู้รับผิดชอบเห็นคำเดียวกันบนหน้าจอ จึงรายงานว่าเป็นความผิดปกติของระบบ

อยู่ชั้นไหน ชั้นที่ 1 ให้กำหนดกฎว่าจะยึดรูปแบบการเขียนแบบใด แล้วแปลงที่ประตูทางเข้า ส่วนจะยึดแบบไหนนั้น การเลือกตามเสียงข้างมากของข้อมูลที่มีอยู่ในระบบเดิมเป็นทางเลือกที่ทำได้จริงที่สุด

ความไม่ตรงกันของการนอร์มัลไลซ์ Unicode — หน้าตาเหมือนกันแต่ข้างในต่างกัน

คือความต่างระหว่าง NFC กับ NFD ว่าถูกบันทึกเป็นอักขระที่ประกอบเสร็จแล้วด้วยโค้ดพอยต์เดียว หรือถูกแยกออกเป็นอักขระฐานกับลำดับของอักขระผสมแล้วบันทึก อักขระภาษาเวียดนามที่มีเครื่องหมายวรรณยุกต์กำกับจะถูกแยกออกเป็นหลายโค้ดพอยต์เมื่ออยู่ในรูป NFD

หน้างานเห็นอาการอย่างไร คำที่พิมพ์ด้วยมือลงในช่องค้นหาไม่ตรง แต่พอคัดลอกจากเอกสารมาวางกลับตรง หรือกลับกันก็มี การตัดสินจำนวนอักขระก็แกว่งด้วย ตามที่คำถามที่พบบ่อยของ VietUnicode ยกไว้ อักขระ “ệ” ถูกนับเป็นสองถึงสามโค้ดพอยต์ในรูป NFD แต่เป็นหนึ่งเสมอในรูป NFC การจำกัดจำนวนตัวอักษรในช่องกรอกข้อมูลและการจัดหลักของแบบฟอร์มจะให้ผลลัพธ์ต่างกันตามรูปแบบที่บันทึก

อยู่ชั้นไหน ชั้นที่ 1 ให้รวมเป็น NFC ที่ประตูทางเข้า ในเชิงเทคนิคจะเลือกรวมไปที่ NFC หรือ NFD ก็ได้ทั้งคู่ แต่ประเด็นสำคัญคือ ตัดสินใจเลือกข้างหนึ่งแล้วรักษาไว้ทุกเส้นทาง ปัญหาคือการไม่ตัดสินใจ ส่วนจะเลือกอันไหนนั้นไม่ใช่ปัญหา

การประกอบอักขระของ IME พัง — ตัวอักษรแยกออกจากกันระหว่างการพิมพ์

การพิมพ์ภาษาเวียดนามใช้วิธีอย่าง Telex และ VNI มีการระบุว่าวิธีการพิมพ์เหล่านี้สามารถให้เอาต์พุตได้ทั้งข้อความแบบประกอบเสร็จแล้ว (NFC) และแบบแยกส่วนแล้ว (NFD) จากการกดแป้นชุดเดียวกัน ส่วนจะออกมาแบบไหนขึ้นอยู่กับซอฟต์แวร์

ยิ่งไปกว่านั้น ถ้าฝั่งแอปพลิเคชันจัดการกระบวนการรวมอักขระผสมให้เป็นหนึ่งตัวอักษรได้ไม่ถูกต้อง การแสดงผลจะพัง ในปี 2026 มีรายงานความผิดปกติในเครื่องมือที่ใช้งานจริงว่า เมื่อพิมพ์ “ư” แล้วตัวอักษรแยกและซ้ำออกมาเป็น “u ư” แม้จะเป็นกรณีที่เกิดในเครื่องมือบรรทัดคำสั่งสำหรับนักพัฒนา แต่สาเหตุอยู่ที่ฝั่งแอปจัดการกระบวนการประกอบอักขระของ IME ได้ไม่ถูกต้อง ปัญหาที่มีโครงสร้างเดียวกันจึงเกิดขึ้นได้ในช่องกรอกข้อมูลของระบบงานเช่นกัน

หน้างานเห็นอาการอย่างไร พนักงานท้องถิ่นจะรายงานขึ้นมาว่า “เฉพาะหน้าจอนี้ตัวอักษรเพี้ยน” เพราะหน้าจออื่นปกติดี เรื่องนี้จึงไม่ถูกจัดว่าเป็นปัญหาของทั้งระบบ และมักถูกปล่อยทิ้งไว้ในฐานะปัญหาของเครื่องส่วนบุคคล เมื่อข้อมูลที่ถูกพิมพ์แบบนั้นสะสมไปเรื่อย ๆ เรกคอร์ดที่ค้นหาก็ไม่เจอ สรุปยอดก็ไม่ตรง จะเพิ่มขึ้นในภายหลัง

อยู่ชั้นไหน ชั้นที่ 1 แต่การนอร์มัลไลซ์ที่ประตูทางเข้าอย่างเดียวไม่พอ ต้องมีขั้นตอนตรวจสอบพฤติกรรมของช่องกรอกข้อมูลเองบนเครื่องจริงด้วย ให้พิมพ์คำที่มีเครื่องหมายวรรณยุกต์กำกับด้วยมือแล้วบันทึก บนเครื่องและเบราว์เซอร์ที่พนักงานท้องถิ่นใช้จริง แล้วตรวจดูลำดับไบต์ที่ถูกบันทึก ขอให้ใส่การตรวจสอบนี้ไว้ในรายการตรวจเช็กตอนนำระบบเข้ามาใช้

อักขระเพี้ยนที่มาจากการเข้ารหัสแบบเก่า — โผล่ตอนนำเอกสารเก่าเข้าระบบ

ภาษาเวียดนามมีการเข้ารหัสอักขระแบบเก่าขนาด 8 บิตที่ใช้กันก่อนยุค Unicode ได้แก่ TCVN3, VNI และ VSCII ทั้งหมดนี้เป็นวิธีที่กำหนดอักขระที่มีเครื่องหมายวรรณยุกต์กำกับให้กับแป้น ASCII มาตรฐานตามแบบของตัวเอง จึงเกิดอักขระเพี้ยนในสภาพแวดล้อมที่ไม่มีฟอนต์เฉพาะ เบราว์เซอร์รายใหญ่ได้ยุติการรองรับการเข้ารหัส 8 บิตเหล่านี้ ยกเว้น Windows-1258 ไปตั้งแต่ปี 2014

หน้างานเห็นอาการอย่างไร คู่มือมาตรฐานการทำงานเก่า บันทึกการตรวจสอบในอดีต และไฟล์ CSV ที่ส่งออกจากระบบหลักซึ่งใช้งานมานาน เมื่อนำสิ่งเหล่านี้เข้าระบบปัจจุบัน เฉพาะส่วนที่เป็นภาษาเวียดนามจะกลายเป็นลำดับสัญลักษณ์ที่อ่านไม่รู้เรื่อง หรือออกมาในรูปที่ว่าดูเผิน ๆ อ่านได้ แต่ค้นหาไม่เจอเลยสักครั้ง แบบหลังยุ่งยากกว่า เพราะไม่มีใครรู้ตัวว่ามันคืออักขระเพี้ยน ข้อมูลชุดนั้นจึงยังคงอยู่ในขอบเขตการค้นหาต่อไปเรื่อย ๆ

อยู่ชั้นไหน ชั้นที่ 1 ให้แทรกขั้นตอนตรวจสอบการเข้ารหัสของข้อมูลต้นทางแล้วแปลง ก่อนนำเข้าระบบ การตรวจสอบทำอัตโนมัติได้ แต่ผลการแปลงต้องให้พนักงานท้องถิ่นตรวจด้วยตา เพราะในการแปลงแบบอัตโนมัติล้วน ถ้าตีความผิดว่าเป็นการเข้ารหัสแบบใด มันจะสร้างสตริงอื่นที่อ่านดูเหมือนถูกต้องขึ้นมาได้

การไม่จัดการขอบเขตระหว่างพยางค์กับคำ — เอาช่องว่างมาเป็นขอบเขตตรง ๆ

ข้อที่ 5 คือปัญหาที่อยู่ใจกลางบทความนี้ ถ้าประกอบการค้นหา การแบ่งชังก์ และการจับคู่คีย์เวิร์ดโดยไม่ทำการตัดคำ หนึ่งคำที่ประกอบด้วยหลายพยางค์จะถูกจัดการเป็นคนละหน่วย

หน้างานเห็นอาการอย่างไร การค้นหาจะพลาด “เป็นบางครั้ง” พยางค์เดียวของคำสองพยางค์ไปตรงกับที่อื่น ทำให้เอกสารที่ไม่เกี่ยวข้องขึ้นมาอยู่อันดับต้น ในการสรุปยอด รายการที่ควรเป็นหนึ่งเดียวจะแตกออกเป็นหลายรายการ และสิ่งที่ยุ่งยากที่สุดคือ กระบวนการนี้ไม่ส่งข้อผิดพลาดออกมาเลยแม้แต่น้อย กระบวนการแบ่งด้วยช่องว่างจบการทำงานอย่างปกติ ในล็อกก็ไม่เหลืออะไรไว้ เพราะดูเหมือนทำงานได้ มันจึงไม่ถูกยกขึ้นมาเป็นตัวเลือกของสาเหตุจนถึงท้ายที่สุด

อยู่ชั้นไหน ชั้นที่ 2 ให้วางกระบวนการตัดคำไว้อย่างชัดเจน แล้วให้ฝั่งคำถามกับฝั่งเอกสารผ่านตัวเดียวกัน จากนั้นให้มีพจนานุกรมชื่อเฉพาะภายในองค์กร การเขียน 3 ข้อนี้ลงไปในการออกแบบ จะส่งผลดีในภายหลัง

สร้างชุดข้อมูลประเมินผลภาษาเวียดนาม — ขั้นตอนที่สั้นที่สุดเพื่อให้พูดเรื่อง “ความแม่นยำ” ได้

เรื่องทั้งหมดข้างต้นตั้งอยู่บนเงื่อนไขว่า “วัดได้” ถ้าแก้ชั้นต่าง ๆ ไปโดยที่วัดไม่ได้ เราจะไม่รู้ว่าแก้แล้วหรือยังไม่แก้

ขั้นตอนการสร้างชุดข้อมูลประเมินผลภาษาเวียดนามมีดังนี้

• จำกัดงานเป้าหมายให้เหลืออย่างเดียว ถ้าเป็นการค้นหาก็เอาแค่การค้นหา ถ้าเป็นการแปลก็เอาแค่การแปล ถ้าพยายามวัดหลายอย่างด้วยชุดประเมินเดียว จะอ่านไม่ออกว่าการปรับปรุงชั้นไหนได้ผล
• เก็บตัวอย่างจากเอกสารภายในองค์กรจริง อย่าใช้ประโยคตัวอย่างที่แต่งขึ้น เพราะประโยคที่แต่งขึ้นจะถูกเขียนด้วยรูปแบบใหม่ที่จัดเป็น NFC เรียบร้อย ปัญหาของชั้นที่ 1 จึงหายไปตั้งแต่ต้น
• ตัดสินเฉลยร่วมกับพนักงานท้องถิ่น การกำหนดว่าอะไรคือเฉลย ตัดสินจากฝั่งญี่ปุ่นอย่างเดียวไม่ได้ โดยเฉพาะการแปลและการจำแนก ถ้าไม่มีความเข้าใจงานจริงของคนในพื้นที่ เฉลยจะไม่ลงตัว
• เขียนเกณฑ์การตัดสินเป็นข้อความไว้ก่อน คำว่า “คำแปลที่เป็นธรรมชาติ” นั้นวัดไม่ได้ ต้องแปลงเป็นเงื่อนไขที่ตัดสินได้ เช่น ตรงตามคลังศัพท์หรือไม่ ตัวเลขถูกรักษาไว้หรือไม่ อยู่ในรูปแบบที่ระบุไว้หรือไม่
• ตัดเวอร์ชันแล้วตรึงไว้ ถ้าเติมหรือแก้ชุดประเมินระหว่างทาง จะเปรียบเทียบกับครั้งก่อนไม่ได้

สิ่งที่ต้องระวังเป็นพิเศษในภาษาเวียดนามคือข้อที่สอง ถ้าฝั่งญี่ปุ่นแต่งประโยคตัวอย่างสำหรับประเมินขึ้นเอง ประโยคเหล่านั้นจะกลายเป็นภาษาเวียดนามที่สวยงาม ทั้งจัดเป็น NFC ตำแหน่งเครื่องหมายวรรณยุกต์ก็เป็นแบบเดียวกัน และไม่มีอักขระเพี้ยนที่มาจากการเข้ารหัสแบบเก่า เมื่อวัดด้วยข้อมูลชุดนั้น ปัญหาของชั้นที่ 1 จะเท่ากับไม่มีอยู่ตั้งแต่แรก แล้วทันทีที่ขึ้นใช้งานจริง ปัญหาที่คิดว่าลบไปแล้วจะโผล่ออกมาทั้งหมด ขอให้เก็บตัวอย่างจากเอกสารที่ถูกสร้างขึ้นที่หน้างานจริงเสมอ

และสิ่งที่ได้ผลเป็นพิเศษในการประเมินภาษาเวียดนามคือ การติดป้ายชั้นให้กับความผิดพลาด ให้บันทึกทีละกรณีที่ผิด ว่ามาจากชั้นที่ 1 ชั้นที่ 2 หรือชั้นที่ 4

เมื่อทำแบบนี้ ชั้นที่จะลงมือแก้ต่อไปจะถูกกำหนดด้วยข้อมูล ถ้าความผิดพลาดส่วนใหญ่มาจากชั้นที่ 2 เราจะรู้ว่าเปรียบเทียบโมเดลไปก็ไม่มีความหมาย ถ้าความผิดพลาดเริ่มกระจุกอยู่ที่ชั้นที่ 4 ตอนนั้นแหละจึงจะเกิดคุณค่าในการใช้งบไปกับการเลือกโมเดล การประเมินที่ไม่มีป้ายกำกับจะให้ได้แค่ตัวเลขว่า “โดยรวมถูกกี่เปอร์เซ็นต์” จึงตัดสินใจการกระทำถัดไปไม่ได้

ในฐานะป้ายกำกับที่เป็นลักษณะเฉพาะของภาษาเวียดนาม การแบ่งชั้นที่ 1 ออกอีกเป็น 2 ส่วนจะเป็นประโยชน์ คือส่วนที่มาจากความไม่ตรงกันของรูปแบบการนอร์มัลไลซ์ กับส่วนที่มาจากความแปรผันของตำแหน่งเครื่องหมายวรรณยุกต์ สองอย่างนี้มีมาตรการรับมือต่างกัน ถ้านับรวมกันจะเลือกวิธีรับมือไม่ได้

สำหรับขนาดของชุดข้อมูลประเมินผล ตรงนี้เราจะไม่ระบุจำนวนรายการ เพราะจำนวนที่เหมาะสมเปลี่ยนไปตามงานเป้าหมายและลักษณะการเกิดความผิดพลาด และเรายังตรวจสอบตัวเลขที่ใช้อ้างอิงเป็นการทั่วไปได้จากข้อมูลปฐมภูมิไม่ได้ ในทางปฏิบัติ การเริ่มสร้างด้วยเกณฑ์ว่า ต้องครอบคลุมรูปแบบความล้มเหลวที่เรารู้จักอยู่ในปัจจุบันทั้งหมด แล้วเพิ่มเข้าไปทุกครั้งที่เจอความล้มเหลวรูปแบบใหม่ จะเป็นรูปแบบที่หมุนได้ง่ายกว่า

แยกค่าใช้จ่ายออกเป็น 5 ชั้น

ค่าใช้จ่ายของ Generative AI ภาษาเวียดนามไม่ได้มีแค่ค่าใช้โมเดล ตรงกันข้าม ส่วนที่ไม่ใช่ค่าใช้โมเดลต่างหากที่จะมากดดันงบประมาณในภายหลัง

ขอเรียบเรียงไว้ก่อนข้อหนึ่ง ค่าใช้จ่าย 5 ชั้นในหัวข้อนี้ แม้หมายเลขจะคล้ายกับ 4 ชั้นของการประมวลผลที่อธิบายไว้ในครึ่งแรก แต่ไม่ใช่สิ่งเดียวกัน ความสัมพันธ์เป็นดังนี้

• ค่าใช้จ่ายชั้นที่ 1 คือค่าสร้างชั้นที่ 1 ของการประมวลผล (ชั้นอักขระ)
• ค่าใช้จ่ายชั้นที่ 2 คือค่าสร้างและค่าดูแลชั้นที่ 2 ของการประมวลผล (ชั้นคำ)
• ค่าใช้จ่ายชั้นที่ 3 คือค่าใช้บริการที่แปรผันตามชั้นที่ 3 ของการประมวลผล (ชั้นโทเค็น)
• ค่าใช้จ่ายชั้นที่ 4 คือค่าชุดข้อมูลประเมินผลสำหรับ วัด ชั้นที่ 4 ของการประมวลผล (ชั้นความหมาย)
• ค่าใช้จ่ายชั้นที่ 5 คือค่าดำเนินงานที่คร่อมทั้ง 4 ชั้น

บทความนี้จะไม่เขียนจำนวนเงิน เพราะมันมีช่วงกว้างมากตามลักษณะการใช้งาน ปริมาณเอกสาร จำนวนภาษาเป้าหมาย และสภาพของเอกสารภายในองค์กร อีกทั้งเรายังตรวจสอบราคากลางที่อ้างอิงเป็นการทั่วไปได้จากข้อมูลปฐมภูมิไม่ได้ ขอให้จับ ความต่างของคุณสมบัติ ของค่าใช้จ่ายแทน

การแยกระหว่างค่าใช้จ่ายครั้งเดียวกับค่าใช้จ่ายที่ต่อเนื่อง ชั้นที่ 1 เป็นค่าใช้จ่ายที่ใกล้เคียงกับทำครั้งเดียวจบ ส่วนชั้นที่ 2 และชั้นที่ 5 ต่อเนื่อง และชั้นที่ 3 เกิดขึ้นตามปริมาณที่ใช้ ถ้าตัดสินใจจากประมาณการเริ่มต้นอย่างเดียวโดยไม่แยกแยะเรื่องนี้ อีกครึ่งปีถัดมาจะต้องตกใจกับค่าดำเนินงาน

ชั้นที่ 3 มีตัวคูณติดมาด้วย ดังที่กล่าวข้างต้น มีรายงานว่าตัวตัดโทเค็นแบบ byte-level BPE ของ GPT-4 ต้องใช้จำนวนโทเค็นสำหรับภาษาเวียดนามมากเป็น 2.5 เท่าของภาษาอังกฤษ (เป็นตัวเลขที่บทความวิชาการฉบับหลังซึ่งอ้างอิงถึงระบุไว้ ในฐานะผลการวิเคราะห์จากบทความปี 2023 ของ Petrov และคณะ) ในการคิดค่าใช้จ่ายตามปริมาณ ส่วนต่างนี้ส่งผลต่อจำนวนเงินโดยตรง ในงานที่มีเอกสารปริมาณมาก มันจะออกมาเป็นส่วนต่างของค่าดำเนินงานรายเดือน อย่างไรก็ตาม นี่เป็นการเปรียบเทียบกับภาษาอังกฤษ ไม่ใช่การเปรียบเทียบระหว่างตัวตัดโทเค็นด้วยกัน เวลาใช้เป็นฐานอ้างอิงของประมาณการ ขอให้กำกับไว้เสมอว่าเป็นอัตราส่วนที่เทียบระหว่างอะไรกับอะไร

สิ่งที่ถูกข้ามง่ายที่สุดคือชั้นที่ 4 การสร้างชุดข้อมูลประเมินผลมีผลงานที่ดูไม่หวือหวา และไม่ได้ทำให้อะไรขยับโดยตรง จึงถูกตัดออกจากงบประมาณเป็นอันดับแรก แต่ถ้าข้ามตรงนี้ไป การอภิปรายทั้งหมดหลังจากนั้นจะกลายเป็นการพูดจากความรู้สึกล้วน ๆ แล้วจะไปต่อจาก “รู้สึกว่าเปลี่ยนเป็นโมเดลใหม่แล้วดีขึ้น” ไม่ได้

ชั้นที่ 5 ส่งผลในอีกครึ่งปีถัดไป ถ้าปล่อยพจนานุกรมทิ้งไว้มันจะเก่า มีเครื่องจักรใหม่เข้ามา มีรหัสย่อใหม่เกิดขึ้น และทุกครั้งความแม่นยำของการตัดคำจะค่อย ๆ ตกลงอย่างเงียบ ๆ ใครเป็นคนปรับปรุงพจนานุกรม ด้วยความถี่เท่าไร โดยดูจากอะไร ถ้าไม่ตัดสินตรงนี้ ยิ่งเวลาผ่านไปก็ยิ่งเข้าใกล้สภาพก่อนเริ่มใช้งาน

มีค่าใช้จ่ายที่เพิ่มขึ้นมาอีกหนึ่งข้อสำหรับภาษาเวียดนาม คือการรองรับการเข้ารหัสแบบเก่าของเอกสารในอดีต ข้อนี้รวมอยู่ในชั้นที่ 1 แต่ขึ้นกับปริมาณเอกสารเป้าหมาย มันอาจกลายเป็นรายการที่ใหญ่ที่สุดภายในชั้นที่ 1 ก็ได้ ยิ่งไปกว่านั้น เพราะเป็นค่าใช้จ่ายครั้งเดียว ถ้าไม่ใส่ไว้ในประมาณการเริ่มต้น มันจะกลายเป็นรายการเพิ่มกลางทาง ขอให้ตัดสินใจก่อนทำประมาณการว่าจะรวมเอกสารในอดีตไว้ในขอบเขตการค้นหาด้วยหรือไม่

3 ประเด็นที่เพิ่มขึ้นมาสำหรับฐานการผลิตในเวียดนาม

เมื่อเทียบกับการนำ Generative AI เข้ามาใช้ภายในประเทศญี่ปุ่น สำหรับฐานการผลิตในเวียดนามจะมี 3 ข้อนี้เพิ่มขึ้นมา

กฎหมาย AI มีผลบังคับใช้ไปแล้ว

ที่เวียดนาม Law on Artificial Intelligence No.134/2025/QH15 ผ่านความเห็นชอบจากรัฐสภาเมื่อวันที่ 10 ธันวาคม 2025 และ มีผลบังคับใช้เมื่อวันที่ 1 มีนาคม 2026 สำหรับระบบ AI ที่เดินอยู่ก่อนวันที่มีผลบังคับใช้ มีการกำหนดระยะเวลาผ่อนผันไว้ โดยระบุเป็น 12 เดือนสำหรับสาขาทั่วไป และ 18 เดือนสำหรับสาขาการแพทย์ การศึกษา และการเงิน ทั้งคู่นับจากวันที่มีผลบังคับใช้ (เมื่อนับ 12 เดือนจากวันที่มีผลบังคับใช้ ในเชิงวันที่ตามปฏิทินจะตกอยู่ราวเดือนมีนาคม 2027 ซึ่งเป็นการคำนวณของบทความนี้เอง ไม่ใช่ถ้อยคำที่ระบุอยู่ในแหล่งข้อมูลต้นทาง)

สิ่งที่ต้องจับให้มั่นตรงนี้คือ ไทยกับเวียดนามอยู่คนละขั้น ร่างกฎหมายปัญญาประดิษฐ์ของไทยยังอยู่ในขั้นร่าง ยังไม่ผ่านและยังไม่มีผลบังคับใช้ ส่วนเวียดนามมีผลบังคับใช้แล้ว ถ้าจะจัดการดำเนินงานให้เป็นแบบเดียวกันทั่วอาเซียน ความต่างของขั้นนี้จะเป็นจุดแยกจุดแรก การตัดสินใจว่า “ยังไม่มีอะไรชัดเจน ขอดูสถานการณ์ไปก่อน” นั้นใช้ได้ที่ไทย แต่ใช้ไม่ได้ที่เวียดนาม

ในกรณีที่เป็นการนำเข้ามาใช้ใหม่ การออกแบบจะง่ายขึ้นเพราะไม่ต้องอภิปรายเรื่องระยะเวลาผ่อนผัน เนื่องจากถักข้อกำหนดเข้าไปได้ตั้งแต่แรก ในทางกลับกัน กรณีที่มีระบบซึ่งเดินอยู่แล้ว ขอให้ตรวจสอบวันเริ่มนับของระยะเวลาผ่อนผันและขอบเขตที่ครอบคลุมแต่เนิ่น ๆ ความสัมพันธ์ระหว่างการนำ AI เข้ามาใช้ในเวียดนามกับระบบกฎหมาย เราเรียบเรียงไว้ที่ ประเด็นที่ต้องจับให้มั่นเมื่อนำ AI เข้ามาใช้ในเวียดนาม ด้วยเช่นกัน

ขอบเขตการบังคับใช้ที่เป็นรูปธรรมและเนื้อหาของหน้าที่ตามกฎหมาย ขอให้ตรวจสอบกับผู้เชี่ยวชาญในท้องถิ่นเป็นรายกรณี บทความนี้จำกัดขอบเขตไว้เพียงข้อเท็จจริงที่ว่ามีผลบังคับใช้แล้ว และจำนวนเดือนของระยะเวลาผ่อนผันเท่านั้น

พจนานุกรมและชุดข้อมูลประเมินผลต้องมีพนักงานท้องถิ่นเข้ามาเกี่ยวข้อง

พจนานุกรมของชั้นที่ 2 นั้น วิศวกรอย่างเดียวดูแลไม่ได้ คนที่รู้รูปแบบการเขียนที่ถูกต้องของชื่อเครื่องจักรและรหัสย่อคือหน้างาน และในกรณีของภาษาเวียดนาม ยังมีการตัดสินเพิ่มเข้ามาอีกว่า “จะยึดรูปแบบการเขียนเครื่องหมายวรรณยุกต์แบบไหนเป็นหลัก” ซึ่งไม่มีคำตอบที่ถูกต้องในเชิงเทคนิค แต่ถูกกำหนดด้วยธรรมเนียมของท้องถิ่นและการกระจายของข้อมูลที่มีอยู่เดิม

เรื่องเดียวกันนี้ใช้ได้กับชุดข้อมูลประเมินผลของชั้นที่ 4 ด้วย การกำหนดว่าอะไรคือเฉลย ตัดสินจากฝั่งญี่ปุ่นอย่างเดียวไม่ได้ โดยเฉพาะการจำแนกและการแปล ถ้าไม่มีความเข้าใจงานจริงของคนในพื้นที่ เฉลยจะไม่ลงตัว

สิ่งที่จำเป็นคือการนิยามให้เป็นงานประจำว่า ใครเป็นคนปรับปรุงพจนานุกรม ด้วยความถี่เท่าไร โดยดูจากอินพุตไหน วิธีที่ทำได้จริงคือฝังเข้าไปในกระบวนการทำงานที่มีอยู่แล้ว เช่น ใส่ “การเพิ่มคำเข้าพจนานุกรม” ไว้ในขั้นตอนตอนที่มีเครื่องจักรใหม่เข้ามา ถ้าเปิดใช้งานระบบโดยไม่ตัดสินตรงนี้ ก็เท่ากับไม่มีกลไกที่จะรู้ตัวว่าความแม่นยำกำลังตกลงด้วยเช่นกัน

การเชื่อมต่อกับระบบเดิมจะเกิดอักขระเพี้ยนแน่นอน

ที่ฐานการผลิตในเวียดนาม บางครั้งมีระบบหลักที่ใช้งานมานาน หรือระบบงานที่สร้างขึ้นในท้องถิ่นเดินอยู่ ถ้าระบบเหล่านี้เก็บข้อมูลด้วยการเข้ารหัสแบบเก่า การรับมือกับอักขระเพี้ยนจะเกิดขึ้นแน่นอนตอนรวมเข้ากับระบบปัจจุบัน

สิ่งที่มองข้ามง่ายตรงนี้คือ อักขระเพี้ยนไม่จำเป็นต้องออกมาในรูปที่ “อ่านไม่ออก” ผลจากการถูกตีความว่าเป็นการเข้ารหัสที่ผิด อาจเกิดเป็นสตริงอื่นที่ดูเผิน ๆ อ่านเป็นภาษาเวียดนามได้ ข้อมูลในสภาพนี้จะผ่านการตรวจด้วยตาไปได้ แล้วสะสมกลายเป็นเรกคอร์ดที่ทั้งค้นหาก็ไม่เจอ สรุปยอดก็ไม่ตรง

มาตรการรับมือคือ ระบุการเข้ารหัสของข้อมูลต้นทางให้ได้ก่อนทำการรวมระบบ แล้วให้พนักงานท้องถิ่นอ่านตัวอย่างข้อมูลหลังแปลง ขอให้เขาตรวจไม่ใช่ว่าอ่านออกหรือไม่ แต่ตรวจว่า เขียนเรื่องเดียวกันกับเอกสารต้นฉบับหรือไม่

90 วันแรกจะทำอะไร

นี่คือแนวทางดำเนินการ 90 วัน เพื่อไม่ให้ลำดับผิดพลาด

• วันที่ 1 ถึงวันที่ 30 — จำกัดเอกสารเป้าหมายให้เหลือชนิดเดียว แล้วสร้างเฉพาะการนอร์มัลไลซ์ของชั้นที่ 1 คือการรวมเป็น NFC และการรวมรูปแบบการเขียนเครื่องหมายวรรณยุกต์ พร้อมกันนั้นให้นับว่า “คำที่ควรจะเป็นคำเดียวกันแตกออกเป็นกี่แบบ” จำนวนนี้จะกลายเป็นตัวชี้วัดความคืบหน้าของชั้นที่ 1
• วันที่ 31 ถึงวันที่ 60 — เป็นชั้นที่ 2 สร้างพจนานุกรมชื่อเฉพาะภายในองค์กรร่วมกับพนักงานท้องถิ่น และต้องใส่รอบการตรวจผลการตัดคำด้วยตาเข้าไปด้วยเสมอ ถ้าดูแต่ตัวเลข จะมองไม่เห็นว่าคำที่ไม่มีในพจนานุกรมถูกรวมออกมาอย่างไร
• วันที่ 61 ถึงวันที่ 90 — สร้างชุดข้อมูลประเมินผลของชั้นที่ 4 แล้วเปรียบเทียบโมเดล 2 ตัว การเปรียบเทียบโมเดลอยู่ท้ายสุด ถ้าเทียบก่อนที่ชั้นที่ 1 และชั้นที่ 2 จะแน่น จะอ่านไม่ออกว่าส่วนต่างมาจากโมเดลหรือมาจากอินพุต

มีสิ่งที่เราจงใจตัดออกจาก 90 วันนี้ คือการปรับตัวตัดโทเค็นให้เหมาะสมในชั้นที่ 3 ชั้นที่ 3 ได้ผลในฐานะการปรับค่าใช้จ่ายให้เหมาะสม แต่ไม่ได้ช่วยในการแยกแยะปัญหาความแม่นยำ ถ้าใช้ 90 วันแรกไปกับการระบุและกำจัดสาเหตุของอาการ แล้วค่อยเริ่มปรับค่าใช้จ่ายให้เหมาะสมหลังจากการดำเนินงานเริ่มหมุน วัตถุดิบสำหรับตัดสินใจจะพร้อมกว่า

อีกเรื่องหนึ่ง การจำกัดเอกสารเป้าหมายให้เหลือชนิดเดียว ไม่ใช่เพื่อลดขอบเขต แต่เพื่อทำให้มองเห็นสาเหตุ ถ้าจัดการรายงานประจำวัน บันทึกการตรวจสอบ และสัญญาไปพร้อมกัน แต่ละอย่างจะพังคนละแบบ จนไม่รู้ว่ามาตรการไหนได้ผลกับอะไร ถ้าสร้างแม่แบบขึ้นมาด้วยชนิดเดียวได้แล้ว ตั้งแต่ชนิดที่สองก็นำแม่แบบเดียวกันไปใช้ได้

สำหรับช่วงวันที่ 1 ถึงวันที่ 30 ในภาษาเวียดนามมีงานเพิ่มขึ้นมาอีกหนึ่งอย่าง คือ การสำรวจว่าเอกสารเป้าหมายถูกบันทึกเป็น NFC หรือ NFD โดยแยกตามเส้นทาง แม้จะเป็นระบบเดียวกัน ข้อมูลที่เข้ามาจากช่องกรอกบนเว็บกับข้อมูลที่เข้ามาจากการนำเข้าไฟล์ ก็อาจมีรูปแบบต่างกันได้ ตัวงานทำรายการเส้นทางเสร็จได้ภายในวันเดียว แต่ถ้าไม่ทำ เราจะตัดสินใจไม่ได้ว่าจะวางการนอร์มัลไลซ์ไว้ตรงไหน

5 ความล้มเหลวที่พบบ่อยและวิธีเลี่ยง

เปลี่ยนโมเดลก่อน

เป็นรูปแบบที่พบบ่อยที่สุดในการปรึกษาจากฐานการผลิตในเวียดนาม เมื่อมีรายงานว่า “Generative AI ภาษาเวียดนามความแม่นยำไม่ได้ตามที่คาด” การรับมือแรกกลายเป็นการเปลี่ยนไปใช้โมเดลอื่น ตามตารางแยกตามลักษณะการใช้งานในบทความนี้ การใช้งานที่ควรวางการเลือกโมเดลไว้เป็นก้าวแรกมีแค่การแปลเท่านั้น ส่วนอีก 5 การใช้งานที่เหลือเป็นลำดับที่ต้องเริ่มลงมือจากต้นน้ำ

วิธีเลี่ยง ให้รวบรวมกรณีที่เกิดอาการมาไว้ในมือ แล้วตรวจสอบว่าถ้าคนจัดอินพุตแล้วส่งเข้าไปจะหายหรือไม่ ถ้าหายคือปัญหาของต้นน้ำ การตรวจสอบนี้ไม่ต้องเตรียมอะไรเป็นพิเศษ และทำได้ก่อนจัดหาโมเดล

แบ่งด้วยช่องว่าง แล้วคิดว่านั่นคือคำ

เป็นความล้มเหลวเฉพาะของภาษาเวียดนาม เพราะเขียนด้วยอักษรละตินและแยกด้วยช่องว่าง กระบวนการแบบเดียวกับภาษาอังกฤษจึงผ่านไปได้ตรง ๆ ไม่มีข้อผิดพลาดออกมา ผลลัพธ์คือทั้งการค้นหาและการสรุปยอดทำงานบนหน่วยพยางค์

วิธีเลี่ยง ในการรีวิวการออกแบบ ให้ตรวจสอบเพียงคำถามเดียวว่า “ข้อความภาษาเวียดนามถูกรวมเป็นคำที่จุดไหน” ถ้าไม่มีคำตอบออกมา หรือได้คำตอบว่า “แบ่งด้วยช่องว่าง” ตรงนั้นคือตัวเลือกของสาเหตุ การตรวจสอบนี้ทำได้โดยไม่ต้องอ่านโค้ด

ส่งข้อความดิบให้โมเดลที่เรียกร้องอินพุตซึ่งผ่านการตัดคำมาแล้ว

โมเดลที่สร้างขึ้นเพื่อภาษาเวียดนามมีบางตัวที่ตั้งอยู่บนสมมติฐานว่าอินพุตผ่านการตัดคำมาแล้ว ใน README ของ PhoBERT ระบุไว้ชัดเจนว่าข้อความอินพุตต้องผ่านการตัดคำมาแล้ว ถ้าส่งข้อความดิบเข้าไปโดยไม่อ่านเงื่อนไขนี้ ประสิทธิภาพจะไม่ออก แล้วเมื่อเห็นผลลัพธ์ที่ไม่ออก การประเมินโมเดลตัวนั้นก็จะตกลง

วิธีเลี่ยง ตั้งแต่ตอนที่นำโมเดลเข้าสู่รายชื่อตัวเลือก ให้ตรวจสอบเงื่อนไขการเตรียมข้อมูลที่โมเดลเรียกร้องจาก README หรือบทความวิชาการ แล้วใส่ไว้เป็นรายการในตารางเปรียบเทียบ ก่อนเปรียบเทียบ ให้ยืนยันว่าทุกโมเดลที่นำมาเทียบผ่านการเตรียมข้อมูลแบบเดียวกัน และแต่ละโมเดลมีเงื่อนไขที่เรียกร้องครบถ้วนแล้ว

เดินหน้าโดยไม่สร้างชุดข้อมูลประเมินผล

เป็นสภาพที่การตัดสินใจเดินหน้าไปด้วยคำว่า “รู้สึกว่าเปลี่ยนเป็นโมเดลใหม่แล้วดีขึ้น” เราจะแยกไม่ออกว่าดีขึ้นจริง หรือแค่บังเอิญคำถามที่ทดลองนั้นเป็นคำถามที่ดี

วิธีเลี่ยง ให้ตัดสินว่าจะไม่เปรียบเทียบโมเดลจนกว่าจะสร้างชุดข้อมูลประเมินผลเสร็จ สิ่งที่ทำได้ในช่วงที่ยังไม่มีชุดข้อมูลประเมินผลคือการจัดการชั้นต้นน้ำเท่านั้น และเอกสารที่ใช้ประเมิน อย่าให้ฝั่งญี่ปุ่นแต่งขึ้น แต่ให้เก็บจากเอกสารของหน้างาน

เขียนกระบวนการนอร์มัลไลซ์กระจายไปทั่ว

เป็นสภาพที่มีโค้ดนอร์มัลไลซ์คนละชุดอยู่ทั้งฝั่งค้นหา ฝั่งสรุปยอด และฝั่งย่อความ ต่อให้แก้การรวมเป็น NFC ที่จุดหนึ่ง อีกเส้นทางหนึ่งก็จะยังคงเป็นของเก่า ในภาษาเวียดนามมี 2 แกนคือรูปแบบการนอร์มัลไลซ์และรูปแบบการเขียนเครื่องหมายวรรณยุกต์ ยิ่งเส้นทางเพิ่ม ความไม่ตรงกันของการผสมยิ่งเพิ่ม

วิธีเลี่ยง ทำให้ประตูทางเข้าของการนำข้อมูลเข้าเหลือทางเดียว แล้วนอร์มัลไลซ์ที่นั่นที่เดียว และตกลงกันว่าปลายน้ำจะรับเฉพาะสตริงที่นอร์มัลไลซ์แล้วเท่านั้น

คำถามที่พบบ่อย (FAQ)

Generative AI ภาษาเวียดนามความแม่นยำต่ำกว่าภาษาญี่ปุ่นหรือไม่

ขึ้นอยู่กับลักษณะการใช้งาน ในการใช้งานที่มีชั้นที่ 4 เป็นศูนย์กลาง เช่น การแปลและการย่อความ จะมีส่วนต่างในการจัดการภาษาเวียดนามของฝั่งโมเดล ในทางกลับกัน สิ่งที่รู้สึกว่า “ต่ำกว่าภาษาญี่ปุ่น” ในการค้นหาและการสรุปยอดนั้น ส่วนใหญ่คือส่วนต่างของสถานะการจัดการชั้นที่ 1 และชั้นที่ 2 บางครั้งมันเป็นแค่เรื่องที่ว่า ในเอกสารภาษาญี่ปุ่นรูปแบบการเขียนถูกจัดให้ตรงกันอยู่แล้ว ส่วนในเอกสารภาษาเวียดนาม NFC กับ NFD ปนกัน และตำแหน่งเครื่องหมายวรรณยุกต์ก็มีทั้งแบบเก่าและแบบใหม่ปนกัน ถ้าไม่จัดเงื่อนไขให้เท่ากันแล้วเทียบ เราจะแยกไม่ออกว่าเป็นส่วนต่างของความสามารถทางภาษาของโมเดล หรือเป็นส่วนต่างของการเตรียมข้อมูล

Generative AI ตัวไหนเก่งภาษาเวียดนาม

ในขอบเขตที่ตรวจสอบได้ PhoGPT-4B ของ VinAI Research ถูกเผยแพร่ในฐานะโมเดลฐานเฉพาะภาษาเวียดนาม ที่ถูกต้องคือ 3.7 พันล้าน (3.7B) พารามิเตอร์ ฝึกล่วงหน้าด้วยคลังข้อความภาษาเวียดนามขนาด 102 พันล้านโทเค็น มีจำนวนคำศัพท์ 20480 และความยาวคอนเท็กซ์ 8192 มีเวอร์ชันแชท PhoGPT-4B-Chat ด้วย สำหรับภาษาในเอเชียตะวันออกเฉียงใต้มี SEA-LION ของ AI Singapore โดยทาง AI Singapore ประกาศเองว่า SEA-LION v4 อยู่อันดับ 5 จาก 55 โมเดลบน SEA-HELM และอันดับ 1 ในกลุ่มโมเดลเปิดที่มีพารามิเตอร์ต่ำกว่า 200B นอกจากนี้ มีรายงานข่าวว่าเมื่อวันที่ 4 มิถุนายน 2026 Viettel AI ได้เปิดตัวโมเดลภาษาเวียดนามขนาด 120 พันล้านพารามิเตอร์ชื่อ VT-Super-120B-A12B แต่นี่อยู่บนฐานของรายงานสื่อมวลชนเวียดนาม และเรายังตรวจสอบข้อมูลปฐมภูมิเรื่องประสิทธิภาพไม่ได้ ตัวไหนเหมาะกับบริษัทเรา วิธีเดียวที่แน่นอนคือวัดด้วยชุดข้อมูลประเมินผลของบริษัทเราเอง

จำเป็นต้องเตรียมการตัดคำภาษาเวียดนามขึ้นเองหรือไม่

ไม่จำเป็นต้องสร้างกลไกการตัดคำขึ้นเอง มีเครื่องมือที่มีอยู่แล้วอย่าง VnCoreNLP และ underthesea สิ่งที่ต้องเตรียมเองคือ ฝั่งพจนานุกรม ต่างหาก และเจาะจงที่พจนานุกรมชื่อเฉพาะภายในองค์กร ทั้งชื่อเครื่องจักร ชื่อชิ้นส่วน รหัสย่อ และชื่อไลน์ผลิต สิ่งเหล่านี้ไม่มีอยู่ในพจนานุกรมของเครื่องมือทั่วไป ถ้าใช้ค่าตั้งต้นตรง ๆ จะถูกจัดการทั้งอย่างที่แยกเป็นพยางค์ หรือถูกรวมผิด ตรงนี้มีแต่บริษัทเราเท่านั้นที่สร้างได้ นอกจากนี้ ขอให้ตรวจสอบก่อนว่าโมเดลที่จะใช้เรียกร้องอินพุตที่ผ่านการตัดคำมาแล้วหรือไม่ มีโมเดลที่เรียกร้องอย่างชัดเจนเช่น PhoBERT

ทำไม RAG ภาษาเวียดนามถึงค้นหาไม่เจอ

ส่วนใหญ่สาเหตุอยู่ที่ชั้นที่ 2 ภาษาเวียดนามถูกแยกด้วยช่องว่างก็จริง แต่ช่องว่างนั้นเป็นขอบเขตของพยางค์ ไม่ใช่ขอบเขตของคำ ถ้าเอาช่องว่างมาใช้เป็นจุดแบ่งคำตรง ๆ การค้นหาจะทำงานบนหน่วยพยางค์ ถ้าวิธีรวมคำของประโยคคำถามกับฝั่งเอกสารไม่ตรงกัน คีย์เวิร์ดที่ควรจะตรงกันก็จะไม่ตรงกัน รองลงมาคือชั้นที่ 1 ที่ความไม่ตรงกันของ NFC กับ NFD และความแปรผันของตำแหน่งเครื่องหมายวรรณยุกต์ขัดขวางการจับคู่ เปลี่ยนโมเดลไปผลการค้นหาก็ไม่เปลี่ยน การเปลี่ยนโมเดลจึงไม่ได้ผลกับอาการนี้

Generative AI ภาษาเวียดนามค่าใช้จ่ายแพงขึ้นหรือไม่

ในแง่จำนวนโทเค็น จะเสียเปรียบเมื่อใช้ตัวตัดโทเค็นแบบทั่วไป มีรายงานว่าตัวตัดโทเค็นแบบ byte-level BPE ของ GPT-4 ต้องใช้จำนวนโทเค็นสำหรับภาษาเวียดนามมากเป็น 2.5 เท่าของภาษาอังกฤษ อย่างไรก็ตาม ตัวเลขนี้เป็นสิ่งที่บทความวิชาการฉบับหลังซึ่งอ้างอิงถึงระบุไว้ ในฐานะผลการวิเคราะห์จากบทความปี 2023 ของ Petrov และคณะ และบทความนี้ไม่ได้ตรวจสอบตารางในบทความต้นทางโดยตรง ในการคิดค่าใช้จ่ายตามปริมาณ ส่วนต่างนี้ส่งผลต่อจำนวนเงิน นอกจากนี้ ในทางปฏิบัติ ค่าจัดทำพจนานุกรมและค่าดำเนินงานมักส่งผลตามมาภายหลังมากกว่าค่าใช้โมเดล และในภาษาเวียดนามยังอาจมีค่ารองรับการเข้ารหัสแบบเก่าของเอกสารในอดีตเพิ่มเข้ามาเป็นค่าใช้จ่ายเริ่มต้นด้วย การอภิปรายเรื่องค่าใช้จ่ายจึงไม่ควรประกอบขึ้นจากค่าใช้โมเดลอย่างเดียว

จะวัดความแม่นยำของภาษาเวียดนามอย่างไร

ให้เก็บตัวอย่างจากเอกสารภายในองค์กรจริง ตัดสินเฉลยร่วมกับพนักงานท้องถิ่น เขียนเกณฑ์การตัดสินเป็นข้อความไว้ก่อน แล้วตรึงเวอร์ชัน อย่าใช้ประโยคตัวอย่างที่ฝั่งญี่ปุ่นแต่งขึ้น เพราะประโยคที่แต่งขึ้นจะถูกเขียนด้วยรูปแบบใหม่ที่จัดเป็น NFC เรียบร้อย ทำให้ปัญหาของชั้นที่ 1 หายไปตั้งแต่ต้น จากนั้นให้ติดป้ายกำกับทีละความผิดพลาดว่ามาจากชั้นที่ 1 ชั้นที่ 2 หรือชั้นที่ 4 ในภาษาเวียดนาม การแบ่งชั้นที่ 1 ออกอีกเป็นส่วนที่มาจากความไม่ตรงกันของรูปแบบการนอร์มัลไลซ์ กับส่วนที่มาจากความแปรผันของตำแหน่งเครื่องหมายวรรณยุกต์ จะช่วยให้เลือกวิธีรับมือได้ง่ายขึ้น เมื่อมีป้ายกำกับนี้ ชั้นที่จะลงมือแก้ต่อไปจะถูกกำหนดด้วยข้อมูล

สรุป

เมื่อ Generative AI ภาษาเวียดนามความแม่นยำไม่ได้ตามที่คาด สิ่งที่พังไม่ใช่โมเดล แต่เป็นการเตรียมข้อมูลก่อนเข้าโมเดล ขอเรียบเรียงประเด็นสำคัญของบทความนี้

• การประมวลผลภาษาเวียดนามแบ่งเป็น 4 ชั้น คือ ชั้นอักขระ ชั้นคำ ชั้นโทเค็น และชั้นความหมาย โมเดลอยู่ที่ชั้นที่ 4 เปลี่ยนแค่ตรงนั้นความพังของต้นน้ำก็ยังคงอยู่
• ชั้นที่ 1 คือชั้นที่จัดสตริงซึ่งหน้าตาเหมือนกันแต่ข้างในต่างกันให้ตรงกัน ทั้งความไม่ตรงกันของ NFC กับ NFD ความแปรผันของตำแหน่งเครื่องหมายวรรณยุกต์ การประกอบอักขระของ IME ที่พัง และอักขระเพี้ยนที่มาจากการเข้ารหัสแบบเก่า ล้วนมาอยู่ตรงนี้
• ชั้นที่ 2 คือหัวใจ ภาษาเวียดนามมีช่องว่างก็จริง แต่นั่นเป็นขอบเขตของพยางค์ ไม่ใช่ขอบเขตของคำ กระบวนการแบ่งด้วยช่องว่างทำงานได้โดยไม่ส่งข้อผิดพลาด จึงไม่ถูกยกขึ้นมาเป็นตัวเลือกของสาเหตุจนถึงท้ายที่สุด
• ความแม่นยำของการตัดคำ บนชุดทดสอบของ VLSP 2013 (2120 ประโยค) RDRsegmenter ได้ F1 97.90% และระดับสูงสุดบนเบนช์มาร์กเดียวกันคือ UITws-v1 ที่ 98.06% ในทางกลับกัน บน Vietnamese Universal Dependencies Treebank (มากกว่า 800 ประโยค) ได้ตัวเลข underthesea 80.04% VnCoreNLP 78.37% และ PyVi 57.88% เนื่องจากข้อมูลที่ใช้ประเมินต่างกัน จึงเปรียบเทียบกันโดยตรงไม่ได้ แต่มันแสดงให้เห็นว่าตัวเลขเปลี่ยนแปลงได้มากตามข้อมูลที่ใช้ประเมิน
• ชั้นที่ 3 ส่งผลต่อค่าใช้จ่ายและปริมาณที่ใส่เข้าไปได้ มีรายงานว่าตัวตัดโทเค็นของ GPT-4 ต้องใช้จำนวนโทเค็นสำหรับภาษาเวียดนามมากเป็น 2.5 เท่าของภาษาอังกฤษ (เป็นตัวเลขที่ผ่านบทความวิชาการฉบับหลังซึ่งอ้างอิงบทความปี 2023 ของ Petrov และคณะ)
• ยิ่งเป็นโมเดลที่สร้างขึ้นเพื่อภาษาเวียดนาม ยิ่งตั้งอยู่บนสมมติฐานว่ามีการเตรียมข้อมูล PhoBERT กำหนดให้อินพุตต้องผ่านการตัดคำมาแล้วเท่านั้น
• ชั้นที่ครอบงำต่างกันไปตามลักษณะการใช้งาน การใช้งานที่ควรวางการเลือกโมเดลไว้เป็นก้าวแรกมีแค่การแปล ส่วน RAG แชทบอท รายงานการประชุม OCR เอกสารแบบฟอร์ม และการจำแนกกับการสรุปยอด ล้วนเริ่มลงมือจากชั้นที่ 1 หรือชั้นที่ 2
• ค่าใช้จ่ายแบ่งเป็น 5 ชั้น สิ่งที่ถูกข้ามง่ายที่สุดคือการสร้างชุดข้อมูลประเมินผล ถ้าข้ามตรงนี้ไปจะอภิปรายเรื่องความแม่นยำไม่ได้
• กฎหมาย AI ของเวียดนามมีผลบังคับใช้แล้วเมื่อวันที่ 1 มีนาคม 2026 ระบบที่มีอยู่เดิมมีระยะเวลาผ่อนผัน 12 เดือนสำหรับสาขาทั่วไป และ 18 เดือนสำหรับสาขาการแพทย์ การศึกษา และการเงิน ส่วนไทยยังอยู่ในขั้นร่าง ทั้งสองประเทศจึงอยู่คนละขั้น
• 90 วันแรกให้เดินตามลำดับ การนอร์มัลไลซ์ พจนานุกรม แล้วชุดข้อมูลประเมินผล วางการเปรียบเทียบโมเดลไว้ท้ายสุด

การปรึกษาเรื่องความแม่นยำที่ไม่ออกในภาษาเวียดนาม เริ่มต้นได้จากการแยกแยะว่าเกิดขึ้นที่ชั้นไหน จะเป็นขั้นตอนการพิจารณาอย่างเช่น อยากลองดูสักครั้งว่าเอกสารของบริษัทเราพังที่ชั้นไหน หรืออยากปรึกษาเฉพาะวิธีสร้างชุดข้อมูลประเมินผล ก็ยินดีครับ ติดต่อเราได้ที่ ช่องทางติดต่อสอบถาม

ข้อมูลอ้างอิง

• VnCoreNLP (GitHub) ชุดเครื่องมือประมวลผลภาษาธรรมชาติสำหรับภาษาเวียดนาม
• arXiv A Fast and Accurate Vietnamese Word Segmenter ตัวตัดคำภาษาเวียดนามที่รวดเร็วและแม่นยำ
• undertheseanlp NLP-Vietnamese-progress กระดานจัดอันดับผลการตัดคำ
• huybik การเปรียบเทียบประสิทธิภาพตัวตัดคำ
• VinAIResearch PhoBERT (GitHub)
• VietUnicode คำถามที่พบบ่อย
• arXiv PhoGPT การฝึกล่วงหน้าแบบกำเนิดสำหรับภาษาเวียดนาม
• AI Singapore กระดานจัดอันดับ SEA-HELM
• VILAF เวียดนามประกาศใช้กฎหมายปัญญาประดิษฐ์ฉบับแรก