การขยายบริบทด้านเสียงเพื่อความเข้าใจเสียงระยะยาวใน Large Audio-Language Models
งานวิจัยจาก SCBX Group และพันธมิตร นำเสนอ Partial YaRN ซึ่งเป็นเทคนิคการปรับตำแหน่งข้อมูล ที่ไม่ต้องฝึกโมเดลใหม่ โดยปรับเฉพาะตำแหน่งของข้อมูลเสียง ทำให้ AI สามารถประมวลผลเสียงพูดและไฟล์เสียงที่มีความยาวมากขึ้นได้
ปัญหาของการทำเสียง : AI ด้านเสียงยังมี “ความจำสั้น” เหมือนปลาทอง
ลองนึกภาพผู้ช่วยเสียงอัจฉริยะที่ฟังคุณได้และตอบคำถามซับซ้อนได้ แต่กลับจำได้แค่สิ่งที่ได้ยินในช่วง 30 วินาทีล่าสุด
นี่คือข้อจำกัดของ Large Audio-Language Models (LALMs) หรือระบบ AI ที่รวมความสามารถด้านการฟังเสียงเข้ากับความเข้าใจภาษา แม้โมเดลเหล่านี้จะฉลาดมาก แต่กลับมีข้อจำกัดเรื่อง หน้าต่างบริบท (context window) หรือพื้นที่ความจำ ทำให้ไม่สามารถประมวลผลไฟล์เสียงที่ยาวได้ดี
หากนักวิจัยพยายามแก้ปัญหาด้วยการขยายความจำทั้งหมดของ AI เพื่อให้รองรับเสียงที่ยาวขึ้น ก็อาจเกิดผลข้างเคียง เพราะจะไปกระทบส่วนที่ใช้ประมวลผลภาษา ทำให้ความสามารถในการอ่าน เขียน และเข้าใจภาษาลดลง
แนวคิดสำคัญ: นักวิจัยแก้ปัญหานี้อย่างไร
เพื่อให้ AI ฟังได้นานขึ้นโดยไม่สับสน นักวิจัยพัฒนาเทคนิคสำคัญ 2 อย่าง
1. Partial YaRN — ขยายเฉพาะ “ความจำด้านเสียง”
แทนที่จะขยายความจำของ AI ทั้งหมด นักวิจัยออกแบบวิธีที่เรียกว่า Partial YaRN
เทคนิคนี้จะแยกส่วนที่ใช้ประมวลผล “เสียง” ออกจากส่วนที่ใช้ประมวลผล “ภาษา” แล้วขยายเฉพาะพื้นที่ความจำด้านเสียงให้รองรับไฟล์ที่ยาวขึ้น
ผลคือ AI สามารถฟังเสียงได้นานขึ้น โดยไม่กระทบความสามารถในการอ่าน เขียน หรือสนทนา
ข้อดีอีกอย่างคือ วิธีนี้ทำงานเหมือนการติดตั้งส่วนเสริม (software patch) และ ไม่ต้องฝึกโมเดลใหม่ (training-free) จึงสามารถนำไปใช้กับโมเดล AI ที่มีอยู่แล้วได้ทันที
2. VLAT — เครื่องจำลองการฝึกให้ AI คุ้นกับเสียงยาว
นักวิจัยยังพัฒนาเทคนิคชื่อ Virtual Longform Audio Training (VLAT) เพื่อให้ AI รับมือกับเสียงยาวได้ดีขึ้น
ปกติ AI มักถูกฝึกด้วยคลิปเสียงสั้น ๆ ทำให้เมื่อเจอไฟล์เสียงยาวจริง จะทำงานได้ไม่ดี
VLAT ทำหน้าที่เหมือน “เครื่องจำลองการฝึก” โดยนำคลิปสั้นมาปรับให้ดูเหมือนเป็นไฟล์เสียงยาวหลายชั่วโมง ผ่านการยืดและบีบข้อมูลระหว่างการฝึก
การฝึกในสภาพแวดล้อมจำลองนี้ช่วยให้ AI เรียนรู้วิธีจัดการกับเสียงยาว และสามารถรับมือกับรูปแบบเสียงที่ไม่เคยเจอมาก่อนได้ดีขึ้น
ประโยชน์ที่ผู้ใช้งานจะได้รับ
- เข้าใจพอดแคสต์และการประชุมได้ทั้งช่วง ไม่ใช่แค่บางส่วน
ปัจจุบัน AI หลายระบบยังฟังได้เพียงไม่กี่วินาที แต่เทคนิคนี้เปิดทางให้ผู้ใช้อัปโหลดเสียงประชุม การบรรยาย หรือพอดแคสต์ยาวเป็น 10 นาที หรือมากกว่านั้น แล้วให้ AI สรุปหรือถามคำถามจากเนื้อหาทั้งหมดได้อย่างแม่นยำ - ผู้ช่วยเสียงจำบริบทของบทสนทนาได้นานขึ้น
ทุกวันนี้ หากเล่าเรื่องยาว ๆ ให้ผู้ช่วยเสียงฟัง มันอาจลืมสิ่งที่พูดตอนต้นไปก่อนจบประโยค การขยายความจำด้านเสียงจะช่วยให้ AI ติดตามบทสนทนาที่ยาวและซับซ้อนได้ดีขึ้น - อัปเกรดแอปได้เร็วขึ้นและต้นทุนต่ำลง
เพราะ Partial YaRN เป็นวิธีที่เพิ่มความสามารถได้โดยไม่ต้องฝึกโมเดลใหม่ทั้งหมด บริษัทเทคโนโลยีจึงสามารถนำความสามารถ “ฟังได้นานขึ้น” ไปเพิ่มในแอปและบริการต่าง ๆ ได้เร็วขึ้นและประหยัดต้นทุนมากขึ้น
Researcher:
