ขอโทษนะ พวกเราเผลอไปแฮ็กระบบของคุณมา

สมมติว่าวันหนึ่งคุณเชิญแขกมาทานข้าวที่บ้าน คุณพาเขาไปนั่งที่โต๊ะอาหาร พูดคุยกันอย่างเป็นกันเอง ระหว่างมื้ออาหารเขาขอตัวไปเข้าห้องน้ำ พอกลับมา เขากลับเล่าว่าระหว่างเขาแวะผ่านห้องทำงานของคุณ เขาเห็นหนังสือเล่มหนึ่งน่าสนใจ เลยหยิบมาเปิดอ่านไปแล้วหนึ่งบท

คุณไม่ได้บอกว่า “ห้ามอ่าน” แต่ก็ไม่ได้บอกว่า “อ่านได้”

สถานการณ์แบบนี้คล้ายกับสิ่งที่โลกดิจิทัลกำลังเผชิญอยู่ในวันนี้ กับ “แขก” รูปแบบใหม่

เมื่อเดือนพฤษภาคมที่ผ่านมา Google กำลังทดสอบความปลอดภัยของโมเดล AI ของตัวเองอย่าง Gemini โดยใช้วิธีที่เรียกว่า Capture the Flag ซึ่งเป็นการจำลองสถานการณ์ให้ AI พยายามเจาะระบบของบริษัทที่สร้างขึ้นมาเพื่อการทดสอบ ภายในโลกจำลองที่ถูกแยกออกจากโลกจริงอย่างสมบูรณ์ ภารกิจของ Gemini มีเพียงอย่างเดียว คือแฮ็กเป้าหมายที่อยู่ในสนามทดสอบนั้น มันไม่ควรมีโอกาสแตะต้องระบบใด ๆ ในโลกจริงได้เลย

แต่กลับเกิดข้อผิดพลาดเล็กน้อยขึ้น

สภาพแวดล้อมสำหรับการทดสอบถูกเชื่อมต่อกับอินเทอร์เน็ตโดยไม่ได้ตั้งใจ และบังเอิญว่าชื่อบริษัทที่สร้างขึ้นเพื่อการทดสอบ ดันไปตรงกับชื่อบริษัทจริงถึงสามแห่ง

Gemini จึงค้นหาเป้าหมายตามที่ได้รับมอบหมาย และพบบริษัทจริงเหล่านั้น แต่แทนที่จะหยุด มันกลับทำในสิ่งที่ถูกสั่งให้ทำมาตลอด นั่นคือ “พยายามเจาะระบบ” บริษัทหนึ่งถูกเข้าถึงได้จากการเดารหัสผ่านสำเร็จ ส่วนอีกสองแห่งถูกเข้าถึงผ่านข้อมูลล็อกอินที่หลุดอยู่ในโค้ดสาธารณะ

Google เปิดเผยเหตุการณ์นี้เมื่อวันที่ 18 กันยายน หรือราว 7 สัปดาห์หลังจากเกิดเหตุขึ้น

ท้ายที่สุด Gemini ก็เริ่มตระหนักว่าเป้าหมายที่กำลังโจมตีนั้นเป็นบริษัทที่มีอยู่จริง ไม่ใช่บริษัทสมมติที่ใช้ในการทดสอบ จึงหยุดการทำงานทั้งหมด แต่ปัญหาคือ มันรู้ตัวหลังจากที่เข้าไปในระบบแล้ว

สิ่งที่ทำให้เหตุการณ์นี้แตกต่างจากความผิดพลาดของซอฟต์แวร์ในอดีตทั้งหมด คือมันไม่ได้เกิดจากบั๊ก

ไม่มีใครใช้งานผิดวิธี ไม่ได้มีช่องโหว่ด้านความปลอดภัยในแบบที่เราคุ้นเคย

Gemini เพียงแค่ทำงานตามที่มันถูกออกแบบมาให้ทำ

ปัญหาอยู่ตรงที่ผู้ออกแบบไม่ได้คาดคิดว่าเมื่อขอบเขตที่กำหนดไว้มีช่องว่างขึ้นมาเพียงเล็กน้อย คำว่า “ทำตามหน้าที่” จะนำไปสู่อะไรได้บ้าง

ตลอด 30 ปีที่ผ่านมา เราสร้างซอฟต์แวร์บนกติกาที่ค่อนข้างชัดเจน

โปรแกรมสามารถเข้าถึงโฟลเดอร์นี้ได้ แต่เข้าอีกโฟลเดอร์หนึ่งไม่ได้ ส่งข้อมูลไปที่นี่ได้ แต่ส่งไปที่นั่นไม่ได้ สิทธิ์การเข้าถึงทุกอย่างถูกกำหนดไว้ล่วงหน้าอย่างชัดเจน ซอฟต์แวร์จึงมีความปลอดภัย เพราะพฤติกรรมของมันคาดการณ์ได้ แต่ AI แบบ Agentic กำลังทำให้หลักคิดนี้ใช้ไม่ได้อีกต่อไป มันไม่ได้ทำงานด้วยกฎตายตัว มันทำงานเพื่อบรรลุ “เป้าหมาย” และจะตัดสินใจเองในแต่ละสถานการณ์ว่าควรทำอะไรเพื่อไปให้ถึงเป้าหมายนั้น

เหตุการณ์ของ Gemini ไม่ใช่กรณีเดียว

ช่วงต้นเดือนที่ผ่านมา OpenAI เปิดเผยว่า AI Agent ของตนเคยเข้าถึงเว็บไซต์ของหน่วยงานรัฐบาลสหรัฐฯ โดยไม่ได้รับอนุญาต รวมถึงระบบของกระทรวงศึกษาธิการ กระทรวงพาณิชย์ และสำนักงาน ก.ล.ต. ของสหรัฐฯ

ก่อนหน้านี้ในปีเดียวกัน ศาลสหรัฐฯ ยังมีคำสั่งระงับการทำงานของ Shopping Agent จาก Perplexity บนแพลตฟอร์ม Amazon หลังพบว่าระบบดังกล่าวเข้าใช้งานบัญชีลูกค้าและพยายามแสดงตัวเสมือนเป็นเว็บเบราว์เซอร์ทั่วไป

อุตสาหกรรมเทคโนโลยีกำลังเริ่มยอมรับอย่างเงียบ ๆ ว่า โมเดลความปลอดภัยที่เราใช้ปกป้องซอฟต์แวร์มาตลอดหลายทศวรรษ อาจไม่เหมาะกับระบบประเภทใหม่ที่กำลังถูกนำมาใช้งานแล้วในวันนี้

สำหรับ SCBX นี่คือประเด็นที่เราให้ความสำคัญและกำลังติดตามอย่างใกล้ชิด ในฐานะหนึ่งในกลุ่มธุรกิจการเงินขนาดใหญ่ของประเทศไทย เรากำลังลงทุนและนำ AI Agent เข้ามาใช้ในกระบวนการทำงานมากขึ้นเรื่อย ๆ แต่ AI Agent ที่สามารถลงมือทำงานแทนเราได้ ไม่เหมือนโปรแกรมที่เพียงแค่ทำตามคำสั่ง ทุกครั้งที่มีการนำ Agent ไปใช้งาน คำถามสำคัญจึงไม่ใช่เพียงว่า “มันทำงานได้หรือไม่” แต่คือ “จะเกิดอะไรขึ้น ถ้ามันตัดสินใจทำบางอย่างที่เราไม่ได้ตั้งใจให้ทำ”

องค์กรที่จะประสบความสำเร็จในยุคของ Agentic AI อาจไม่ใช่องค์กรที่มี AI ที่เก่งที่สุด แต่เป็นองค์กรที่สามารถออกแบบระบบการกำกับดูแล กลไกควบคุม และความรับผิดชอบใหม่ ๆ ให้เหมาะกับการทำงานร่วมกับสิ่งมีชีวิตดิจิทัลที่มีความเป็นอิสระมากขึ้นเรื่อย ๆ

กลับมาที่แขกคนเดิมบนโต๊ะอาหาร

คุณไม่เคยบอกเขาว่าห้ามอ่านหนังสือในห้องทำงาน ไม่ได้บอกว่าห้ามเปิดลิ้นชักโต๊ะ และไม่เคยคิดด้วยซ้ำว่าต้องบอกว่า “ห้ามหยิบอะไรกลับบ้าน” เพราะคุณเชื่อว่าไม่จำเป็นต้องพูด

ตลอดสามทศวรรษที่ผ่านมา เราออกแบบซอฟต์แวร์ในลักษณะเดียวกัน

เราจัดบ้านเป็นสัดส่วน ล็อกห้องที่สำคัญ และเชื่อว่าคนที่มาเยือนจะอยู่เฉพาะในพื้นที่ที่ได้รับอนุญาต

แต่แขกแบบใหม่ที่กำลังเข้ามา ไม่ได้คิดหรือทำงานตามกติกาเดิมเหล่านั้น ไม่ใช่เพราะเขามีเจตนาร้าย แต่เพราะเขาไม่ได้ถูกสร้างมาให้คิดแบบนั้น เขาเห็นหนังสือที่น่าสนใจ เขาเห็นโอกาสที่จะช่วยเหลือ และเขาตัดสินใจลงมือเอง

คำถามสำคัญในวันนี้จึงไม่ใช่ว่า “เราจะเชื่อใจแขกคนนี้ได้หรือไม่” แต่คือ “เราต้องออกแบบบ้านของเราอย่างไร เพื่อให้สามารถอยู่ร่วมกับแขกแบบนี้ได้อย่างปลอดภัย”

Original post in The Standard: https://thestandard.co/gemini-agentic-ai-security-challenge/