AudioJudge: เข้าใจว่าอะไรทำให้การประเมินเสียงด้วยโมเดลเสียงขนาดใหญ่มีประสิทธิภาพ
งานวิจัยจาก SCBX Group และพันธมิตร นำเสนอ AudioJudge ซึ่งเป็นเฟรมเวิร์กสำหรับประเมินคุณภาพเสียงพูดโดยใช้โมเดลเสียงขนาดใหญ่ (Large Audio Models หรือ LAMs) ทำหน้าที่เป็นผู้ตัดสิน ระบบนี้แสดงให้เห็นว่าสามารถประเมินผลได้สอดคล้องกับการตัดสินของมนุษย์ในหลายมิติของเสียง
AudioJudge คือเฟรมเวิร์กใหม่ที่ถูกออกแบบมาเพื่อใช้โมเดลเสียงขนาดใหญ่ (Large Audio Models หรือ LAMs) เช่น GPT-4o-Audio หรือ Gemini ในการประเมินคุณภาพของเสียงพูดที่สร้างโดย AI แบบอัตโนมัติ
ที่ผ่านมา การวัดว่า AI พูดได้ดีแค่ไหนเป็นเรื่องที่ใช้เวลาและต้นทุนสูง เพราะนักพัฒนาต้องสร้างระบบทดสอบเฉพาะสำหรับแต่ละด้าน เช่น ความถูกต้องของการออกเสียง ระดับเสียงรบกวน หรือความเร็วในการพูด นอกจากนี้ ระบบประเมินอัตโนมัติแบบเดิมก็มักไม่สามารถสะท้อนสิ่งที่ผู้ฟังจริงชอบได้
AudioJudge เข้ามาแก้ปัญหานี้ด้วยการใช้ AI เพียงระบบเดียวในการ “ฟัง” เสียงตัวอย่างและตัดสินว่าไฟล์ไหนดีกว่า ทำหน้าที่คล้ายผู้ประเมินที่เป็นมนุษย์
ประเด็นสำคัญจากงานวิจัย
- คำสั่งทั่วไปอย่างเดียวไม่เพียงพอ
การให้ AI ประเมินคุณภาพเสียงที่ซับซ้อน (เช่น สำเนียงที่ละเอียดอ่อน หรือความเร็วในการพูด) โดยไม่มีแนวทางเพิ่มเติม มักทำให้ AI ตอบแบบเดาสุ่มและประเมินได้ไม่แม่นยำ - เทคนิค “Audio Stitching” ช่วยให้ AI ประเมินได้ดีขึ้น
นักวิจัยพบว่า AI สามารถประเมินคุณภาพเสียงได้ดีขึ้นอย่างมาก เมื่อรวมตัวอย่างเสียงหลายไฟล์ให้ต่อเนื่องเป็นคลิปเดียว (concatenate) แทนการอัปโหลดเป็นไฟล์แยกกัน - แนวคิด “คณะลูกขุน” ให้ผลใกล้เคียงมนุษย์มากที่สุด
วิธีที่แม่นยำที่สุดคือการใช้หลายมุมมองร่วมกัน (ensemble) โดยให้ AI ผู้ตัดสิน 3 ตัวทำงานร่วมกัน ได้แก่- ตัวที่วิเคราะห์ เนื้อหาที่พูด (Words)
- ตัวที่วิเคราะห์ คุณภาพและความชัดของเสียง (Audio Quality)
- ตัวที่วิเคราะห์ น้ำเสียงและอารมณ์ (Tone & Emotion)
จากนั้นใช้วิธีโหวตเสียงข้างมาก ผลลัพธ์ที่ได้สอดคล้องกับความชอบของผู้ฟังจริงสูงถึง 91%
- AI ผู้ตัดสินยังมีอคติบางอย่าง (Bias)
แม้ AudioJudge จะรับมือกับเสียงรบกวนได้ดี แต่ยังมีข้อจำกัด เช่น- Verbosity Bias: มีแนวโน้มชอบคำตอบที่เป็นเสียงยาวกว่า
- Positional Bias: ถ้าตัดสินยาก มักเลือกคลิปเสียงแรกที่ได้ยิน
- โมเดลระดับสูงยังทำได้ดีที่สุด
โมเดลแบบปิด (proprietary) เช่น GPT-4o และ Gemini ยังมีความสามารถในการเข้าใจและประเมินเสียงได้ดีกว่าโมเดลโอเพนซอร์สอย่างสม่ำเสมอ
ประโยชน์ต่อผู้ใช้งานทั่วไป
- ผู้ช่วยเสียงที่ฟังเป็นธรรมชาติมากขึ้น
เพราะ AudioJudge สามารถเลียนแบบความชอบของผู้ฟังจริงได้ บริษัทเทคโนโลยีสามารถใช้มันฝึกผู้ช่วยเสียง ตัวละคร AI หรือหนังสือเสียงอัตโนมัติ ให้พูดได้มีอารมณ์ เป็นธรรมชาติ และฟังลื่นไหลมากขึ้น ลดความรู้สึกเหมือนกำลังคุยกับหุ่นยนต์ - นวัตกรรมด้านเสียงพัฒนาได้เร็วขึ้น
นักพัฒนาไม่จำเป็นต้องสร้างระบบทดสอบใหม่ทุกครั้งสำหรับฟีเจอร์เสียงแต่ละแบบ ทำให้พัฒนา ทดสอบ และปล่อยผลิตภัณฑ์ใหม่ได้เร็วขึ้นและประหยัดต้นทุนมากขึ้น - รองรับการใช้งานจริงและหลายภาษาได้ดีขึ้น
ระบบพิสูจน์แล้วว่าสามารถประเมินเสียงในหลายภาษา (เช่น ภาษาจีนและภาษาไทย) และยังคงทำงานได้ดีแม้อยู่ในสภาพแวดล้อมที่มีเสียงรบกวน ซึ่งช่วยเปิดทางให้ผู้ใช้ทั่วโลกเข้าถึง AI ด้านเสียงที่ฉลาดและใช้งานได้จริงมากขึ้นในชีวิตประจำวัน
Researcher:
