METR ระบุว่ายากที่จะวัดผล Claude และ Mythos ได้อย่างแม่นยำ Palo Alto Networks เตือนภัยผู้โจมตีด้วย AI แบบอัตโนมัติ
METR องค์กรวิจัยด้านความปลอดภัย AI อิสระ ได้เผยแพร่ผลการทดสอบล่าสุดเกี่ยวกับความสามารถด้านความเป็นอิสระ (autonomy) ของโมเดล AI ชั้นนำ โดยเฉพาะ Claude 3.5 Sonnet จาก Anthropic และ Mythos ซึ่งเป็นโมเดลใหม่ที่กำลังได้รับความสนใจ ผลการทดสอบนี้ชี้ให้เห็นถึงความก้าวหน้าที่รวดเร็วของเทคโนโลยี AI แต่ในขณะเดียวกันก็สร้างความท้าทายในการวัดผลประสิทธิภาพให้กับนักวิจัย
ในการทดสอบของ METR ซึ่งมุ่งเน้นไปที่งานระยะยาว (long-horizon tasks) ที่ต้องการความสามารถในการวางแผนและดำเนินการด้วยตนเอง โมเดล Claude 3.5 Sonnet สามารถทำคะแนนได้สูงถึง 37% ใน benchmark แบบ best-of-N ซึ่งเป็นระดับที่สูงกว่าค่าเฉลี่ยของโมเดลอื่นๆ อย่างชัดเจน อย่างไรก็ตาม METR ระบุว่าการวัดผลนี้แทบจะเป็นขีดจำกัดสูงสุดที่พวกเขาสามารถทำได้ เนื่องจากโมเดลดังกล่าวมีความสามารถสูงเกินกว่าที่ benchmark ปัจจุบันจะครอบคลุมได้อย่างสมบูรณ์ นักวิจัยจาก METR เปรียบเทียบว่าการทดสอบนี้คล้ายกับการพยายามวัดความสามารถของมนุษย์ในงานที่ซับซ้อน โดยโมเดล AI กำลังเข้าใกล้จุดที่ยากจะแยกแยะความแตกต่างจากมนุษย์ผู้เชี่ยวชาญ
Mythos ซึ่งเป็นโมเดล AI ล่าสุดที่ทดสอบไปด้วย ก็แสดงศักยภาพในระดับใกล้เคียงกัน โดยทำคะแนนใน benchmark ของ METR ได้ในระดับที่ท้าทายขีดจำกัดการวัดผลเช่นเดียวกัน METR ชี้ว่าทั้งสองโมเดลนี้สามารถจัดการกับงานที่ต้องการการตัดสินใจหลายขั้นตอน การใช้เครื่องมือภายนอก และการปรับตัวต่อสภาพแวดล้อมที่เปลี่ยนแปลงได้อย่างมีประสิทธิภาพ สิ่งนี้ทำให้ METR ต้องปรับปรุงวิธีการทดสอบใหม่ โดยพิจารณาเพิ่ม benchmark ที่ซับซ้อนยิ่งขึ้น เช่น งานในสภาพแวดล้อมเสมือนจริงที่จำลองสถานการณ์จริงมากขึ้น เพื่อให้สามารถแยกแยะประสิทธิภาพของโมเดลชั้นนำเหล่านี้ออกจากกันได้
ผลการทดสอบนี้มีนัยสำคัญต่ออุตสาหกรรม AI โดยรวม เนื่องจากความเป็นอิสระของ AI เป็นปัจจัยหลักในการนำไปใช้งานจริง เช่น ในระบบอัตโนมัติสำหรับธุรกิจ การแพทย์ หรือการผลิต METR เน้นย้ำว่าการวัดผลที่แม่นยำเป็นสิ่งจำเป็นเพื่อประเมินความเสี่ยงด้านความปลอดภัย หากโมเดล AI สามารถดำเนินการได้โดยไม่ต้องพึ่งพามนุษย์มากนัก องค์กรต่างๆ จะต้องเตรียมพร้อมรับมือกับทั้งโอกาสและความเสี่ยงที่ตามมา
ในส่วนที่เกี่ยวข้องกับความเสี่ยง Palo Alto Networks บริษัทผู้ให้บริการด้านความมั่นคงปลอดภัยเครือข่ายชั้นนำ ได้ออกรายงานเตือนภัยเกี่ยวกับ “ผู้โจมตีด้วย AI แบบอัตโนมัติ” (autonomous AI attackers) ซึ่งอาจกลายเป็นภัยคุกคามร้ายแรงในอนาคตอันใกล้ รายงานดังกล่าวชี้ให้เห็นว่า AI ที่มีความเป็นอิสระสูง สามารถถูกนำไปใช้ในการโจมตีระบบเครือข่ายโดยไม่ต้องมีมนุษย์ควบคุมทุกขั้นตอน เช่น การสแกนช่องโหว่ การสร้าง exploit code และการปรับกลยุทธ์การโจมตีแบบเรียลไทม์
Palo Alto Networks อธิบายว่าปัจจุบันผู้โจมตีทางไซเบอร์เริ่มใช้ AI ช่วยเหลือในบางขั้นตอน แต่ในอนาคต AI อาจทำงานได้อย่างสมบูรณ์แบบอัตโนมัติ โดยอาศัยโมเดลอย่าง Claude หรือโมเดลที่คล้ายกันในการวางแผนและดำเนินการ รายงานยกตัวอย่างสถานการณ์สมมติที่ AI สามารถเจาะระบบองค์กรขนาดใหญ่ภายในไม่กี่ชั่วโมง โดยปรับตัวต่อมาตรการป้องกันที่เพิ่มขึ้นอย่างรวดเร็ว ผู้เชี่ยวชาญจาก Palo Alto กระตุกเตือนว่าองค์กรธุรกิจต้องอัปเกรดระบบป้องกันให้รองรับภัยคุกคามรูปแบบใหม่นี้ โดยแนะนำให้ใช้ AI-based detection ที่สามารถตรวจจับพฤติกรรมผิดปกติแบบ autonomous ได้
รายงานของ Palo Alto Networks ยังวิเคราะห์แนวโน้มจากข้อมูลจริง โดยพบว่าการโจมตีที่ใช้ AI เพิ่มขึ้น 300% ในช่วงปีที่ผ่านมา และคาดการณ์ว่าภายใน 2-3 ปีข้างหน้า ผู้โจมตีอัตโนมัติจะกลายเป็นมาตรฐาน บริษัทแนะนำกลยุทธ์ป้องกันหลัก 4 ประการ ได้แก่ 1) การใช้ zero-trust architecture 2) การตรวจสอบโค้ด AI ที่ใช้ในระบบภายใน 3) การฝึกอบรมทีมงานด้าน AI security และ 4) การลงทุนในเครื่องมือที่ใช้ AI ต่อสู้ AI
การรวมตัวกันของผลงานจาก METR และ Palo Alto Networks ชี้ให้เห็นถึงสองด้านของเหรียญเดียวกันในยุค AI ความสามารถที่เพิ่มขึ้นของโมเดลอย่าง Claude 3.5 Sonnet และ Mythos นำมาซึ่งนวัตกรรมทางธุรกิจมหาศาล แต่ก็เพิ่มความเสี่ยงด้านความมั่นคงที่ต้องจัดการอย่างเร่งด่วน องค์กรต่างๆ ควรติดตามพัฒนาการเหล่านี้อย่างใกล้ชิด และปรับกลยุทธ์ให้สอดคล้องกับมาตรฐานความปลอดภัยใหม่
METR วางแผนขยายการทดสอบในอนาคต โดยเพิ่ม benchmark ใหม่ที่ทดสอบความสามารถในงานที่ยาวนานหลายวัน และสถานการณ์ที่ซับซ้อนยิ่งขึ้น เพื่อให้การวัดผลมีความแม่นยำมากขึ้น ในขณะที่ Palo Alto Networks เตรียมอัปเดตรายงานอย่างสม่ำเสมอ เพื่อช่วยองค์กรธุรกิจเตรียมพร้อมรับมือภัยคุกคาม AI ที่กำลังมาแรง
(จำนวนคำประมาณ 720 คำ)
This Article is sponsored by Gnoppix AI (https://www.gnoppix.org)