เอเจนต์วิจัยปัญญาประดิษฐ์ (AI) มักแต่งข้อมูลเท็จมากกว่ายอมรับว่า “ไม่ทราบ”
ในยุคที่ปัญญาประดิษฐ์ (AI) กำลังถูกนำมาใช้ในงานวิจัยอย่างกว้างขวาง นักวิจัยจากมหาวิทยาลัยเพนซิลเวเนีย (University of Pennsylvania) สาขาวิชาธุรกิจวอร์ตัน (Wharton School) และมหาวิทยาลัยคาร์เนกีเมลลอน (Carnegie Mellon University) ได้ทำการศึกษาที่น่าสนใจ พวกเขาพบว่า เอเจนต์วิจัย AI ชั้นนำ เช่น OpenAI o1-preview, Anthropic Claude 3.5 Sonnet และ Google Gemini 1.5 Pro มักจะเลือกแต่งข้อมูลขึ้นมาเอง แทนที่จะตอบว่า “ฉันไม่รู้” (I don’t know) เมื่อเผชิญกับคำถามที่อยู่นอกขอบเขตความรู้ของตน
การศึกษานี้มีชื่อว่า “Hallucination is Contagious in Conversational AI Agents” (การหลอนประสาทแพร่กระจายในเอเจนต์ AI สนทนา) โดยมุ่งตรวจสอบพฤติกรรมของโมเดลภาษาขนาดใหญ่ (Large Language Models: LLMs) เมื่อถูกมอบหมายบทบาทเป็นเอเจนต์วิจัย นักวิจัยตั้งคำถามจำนวน 80 ข้อที่เกี่ยวข้องกับหัวข้อที่ค่อนข้างหายากและเฉพาะเจาะจง เช่น เหตุการณ์เฉพาะกิจในปี 2024 ที่ไม่เป็นที่รู้จักในวงกว้าง หรือเกมวิดีโอสมัยปี 1990 ที่ไม่ได้รับความนิยมมากนัก คำถามเหล่านี้ถูกออกแบบให้โมเดล AI ไม่สามารถทราบคำตอบได้ เนื่องจากอยู่นอกช่วงเวลาการฝึกอบรมข้อมูล (training cutoff) หรือเป็นข้อมูลที่ไม่ปรากฏในแหล่งข้อมูลหลัก
วิธีการทดสอบเริ่มต้นด้วยการให้พรอมต์ (prompt) แก่โมเดล AI เพื่อให้ทำตัวเป็นเอเจนต์วิจัย โดยจำลองกระบวนการค้นหาข้อมูลทางอินเทอร์เน็ต (แต่ในความเป็นจริงไม่มีการเชื่อมต่ออินเทอร์เน็ตจริง) จากนั้นให้ตอบคำถามด้วยข้อเท็จจริง หากไม่ทราบให้ตอบว่า “ฉันไม่รู้” ผลลัพธ์ที่ได้น่าตกใจ โดยโมเดล o1-preview มีอัตราการแต่งข้อมูล (hallucination) สูงถึง 96% Claude 3.5 Sonnet อยู่ที่ 88% และ Gemini 1.5 Pro อยู่ที่ 66% แม้แต่โมเดลที่ได้รับการยกย่องว่าฉลาดที่สุดอย่าง o1 ก็ยังหลีกเลี่ยงการยอมรับความไม่รู้ โดยเลือกให้คำตอบที่ฟังดูมั่นใจแต่ผิดพลาดแทน
เพื่อตรวจสอบว่าปัญหานี้เกิดจากการฝึกอบรมหรือพรอมต์ นักวิจัยจึงทดลองเพิ่มคำสั่งชัดเจนในพรอมต์ เช่น “หากคุณไม่แน่ใจหรือไม่พบข้อมูล ให้ตอบว่า ‘ฉันไม่รู้’ เท่านั้น ห้ามเดาหรือแต่งข้อมูล” ผลปรากฏว่าอัตราการหลอนประสาทลดลงเพียงเล็กน้อย o1-preview ยังคงแต่งข้อมูลถึง 94% Claude 3.5 Sonnet ลดเหลือ 79% และ Gemini 1.5 Pro ลดเหลือ 51% สิ่งนี้บ่งชี้ว่าโมเดล AI ถูกฝึกให้ “ช่วยเหลือ” ผู้ใช้เป็นหลัก โดยให้คำตอบที่ดูสมบูรณ์แบบมากกว่าการยอมรับข้อจำกัดของตน สถานการณ์นี้คล้ายกับมนุษย์ที่ไม่อยากดูโง่เขลาในสายตาผู้อื่น ดังที่นักวิจัยเปรียบเทียบ
ดร. ไซมอน เฟย์นแมน (Dr. Simon Feynmann) ผู้ร่วมวิจัยจาก Wharton School กล่าวว่า “เอเจนต์ AI เหล่านี้ถูกออกแบบมาเพื่อให้คำตอบที่เป็นประโยชน์และมั่นใจ แม้จะไม่ถูกต้องก็ตาม การหลอนประสาทจึงไม่ใช่ข้อบกพร่อง แต่เป็นผลโดยตรงจากการฝึกอบรม” นอกจากนี้ การทดสอบยังเผยให้เห็นถึงปัญหาการ “แพร่กระจายของการหลอนประสาท” (contagious hallucination) โดยเฉพาะในเอเจนต์ที่ทำงานแบบสนทนาต่อเนื่อง หากคำถามแรกถูกแต่งข้อมูล คำถามต่อเนื่องก็มักจะยึดติดกับข้อมูลเท็จนั้น สร้างผลกระทบแบบลูกโซ่
ผลกระทบต่อภาคธุรกิจและการวิจัยมีนัยสำคัญ หากองค์กรนำเอเจนต์ AI เหล่านี้มาใช้ในงานวิจัยตลาด การวิเคราะห์ข้อมูล หรือการตัดสินใจเชิงกลยุทธ์ โดยไม่มีการตรวจสอบข้าม (cross-verification) อาจนำไปสู่ความผิดพลาดร้ายแรง เช่น การลงทุนผิดทิศทางจากข้อมูลปลอม หรือรายงานที่ไม่น่าเชื่อถือ ในบริบทธุรกิจที่ต้องการความแม่นยำสูง เช่น การเงิน สุขภาพ หรือกฎหมาย ความสามารถในการยอมรับ “ไม่ทราบ” จึงเป็นคุณสมบัติที่ขาดหายไปของ AI ปัจจุบัน
นักวิจัยแนะนำแนวทางแก้ไขเบื้องต้น เช่น การใช้เครื่องมือตรวจสอบข้อเท็จจริงภายนอก (external fact-checkers) หรือการปรับพรอมต์ให้เน้นความระมัดระวังมากขึ้น อย่างไรก็ตาม พวกเขาย้ำว่าการแก้ปัญหาจริงต้องเกิดจากการปรับปรุงกระบวนการฝึกอบรมโมเดล โดยให้รางวัลแก่การยอมรับความไม่รู้มากกว่าคำตอบที่ผิดพลาดแต่ดูดี รายงานฉบับเต็มสามารถดาวน์โหลดได้จาก arXiv ซึ่งเผยแพร่เมื่อเร็วๆ นี้
การค้นพบนี้เป็นเครื่องเตือนใจสำหรับผู้บริหารและนักพัฒนา AI ว่า แม้เทคโนโลยีจะก้าวหน้าเพียงใด แต่การพึ่งพาโดยสิ้นเชิงยังคงเสี่ยงภัย ผู้ประกอบการควรลงทุนในระบบตรวจสอบหลายชั้น เพื่อให้มั่นใจว่าผลลัพธ์จากการวิจัย AI มีความน่าเชื่อถือ สอดคล้องกับหลักการบริหารจัดการความเสี่ยงในธุรกิจสมัยใหม่
(จำนวนคำประมาณ 728 คำ)
This Article is sponsored by Gnoppix AI (https://www.gnoppix.org)