นักวิจัยจาก Max Planck Institute for Biological Cybernetics ได้ทำการทดสอบทางจิตวิทยาเพื่อประเมินความฉลาดทั่วไปของ GPT-3 ซึ่งเป็นเครื่องมือ AI โมเดลภาษาที่ทรงพลัง ในขณะที่ GPT-3 สามารถทำงานได้ดีในบางสาขาความรู้ แต่ก็ล้าหลังในบางสาขา ซึ่งน่าจะเกิดจากการขาดปฏิสัมพันธ์กับโลกแห่งความเป็นจริง นักวิจัยได้ทดสอบ GPT-3 ในชุดการทดสอบที่ตรวจสอบด้านต่างๆ ของเชาวน์ปัญญาทั่วไป เช่น การตัดสินใจ การค้นหาข้อมูล การให้เหตุผลเชิงสาเหตุ และความสามารถในการตั้งคำถามกับสัญชาตญาณของตนเอง การศึกษาพบว่า GPT-3 ดำเนินการเกือบเทียบเท่ากับมนุษย์ในการตัดสินใจ แต่ล้าหลังในการค้นหาข้อมูลเฉพาะหรือเหตุผลเชิงสาเหตุ ผู้เขียนแนะนำว่าการมีปฏิสัมพันธ์กับโลกอย่างแข็งขันอาจเป็นสิ่งสำคัญสำหรับการจับคู่ความซับซ้อนของความรู้ความเข้าใจของมนุษย์ ซึ่งอาจเป็นไปได้ในอนาคตเนื่องจากผู้ใช้สื่อสารกับแบบจำลองเช่น GPT-3 ในหลาย ๆ แอปพลิเคชัน
Researchers at the Max Planck Institute for Biological Cybernetics conducted psychological tests to evaluate the general intelligence of GPT-3, a powerful language model AI tool. While GPT-3 is capable of performing well in some areas, it falls behind in others, likely due to a lack of interaction with the real world. The researchers subjected GPT-3 to a series of tests that examined different aspects of general intelligence, such as decision-making, information search, causal reasoning, and the ability to question its own intuition. The study found that GPT-3 performs nearly on par with humans in decision-making but falls behind in searching specific information or causal reasoning. The authors suggest that actively interacting with the world may be crucial for matching the full complexity of human cognition, which could be possible in the future as users communicate with models like GPT-3 in many applications.
นักวิจัยจาก Max Planck Institute for Biological Cybernetics ในเมือง Tübingen ได้ตรวจสอบความฉลาดทั่วไปของโมเดลภาษา GPT-3 ซึ่งเป็นเครื่องมือ AI ที่ทรงพลัง โดยใช้แบบทดสอบทางจิตวิทยา พวกเขาศึกษาความสามารถต่างๆ เช่น การให้เหตุผลเชิงสาเหตุและการไตร่ตรอง และเปรียบเทียบผลลัพธ์กับความสามารถของมนุษย์ การค้นพบของพวกเขาทำให้เห็นภาพที่แตกต่างกัน ในขณะที่ GPT-3 สามารถติดตามมนุษย์ได้ในบางสาขาความรู้ แต่ก็ล้าหลังในบางสาขา อาจเป็นเพราะขาดปฏิสัมพันธ์กับโลกแห่งความเป็นจริง
โครงข่ายประสาทเทียมสามารถเรียนรู้ที่จะตอบสนองต่ออินพุตที่กำหนดด้วยภาษาธรรมชาติ และสามารถสร้างข้อความที่หลากหลายได้เอง ปัจจุบัน เครือข่ายที่มีประสิทธิภาพมากที่สุดน่าจะเป็น GPT-3 ซึ่งเป็นโมเดลภาษาที่นำเสนอต่อสาธารณะในปี 2020 โดยบริษัทวิจัย AI OpenAI สามารถแจ้ง GPT-3 ให้กำหนดข้อความต่างๆ ได้ โดยได้รับการฝึกอบรมสำหรับงานนี้โดยการป้อนข้อมูลจำนวนมากจากอินเทอร์เน็ต ไม่เพียงแต่สามารถเขียนบทความและเรื่องราวที่ (เกือบ) แยกไม่ออกจากข้อความที่มนุษย์สร้างขึ้นเท่านั้น แต่ที่น่าประหลาดใจคือ มันยังเชี่ยวชาญความท้าทายอื่นๆ เช่น ปัญหาทางคณิตศาสตร์หรืองานด้านการเขียนโปรแกรมอีกด้วย
ปัญหาของลินดา: การทำผิดไม่ใช่แค่มนุษย์เท่านั้น
ความสามารถที่น่าประทับใจเหล่านี้ทำให้เกิดคำถามว่า GPT-3 มีความสามารถทางปัญญาเหมือนมนุษย์หรือไม่ เพื่อหาคำตอบ นักวิทยาศาสตร์จาก Max Planck Institute for Biological Cybernetics ได้นำ GPT-3 ไปทดสอบทางจิตวิทยาหลายชุดเพื่อตรวจสอบด้านต่างๆ ของสติปัญญาทั่วไป Marcel Binz และ Eric Schulz ได้กลั่นกรองทักษะของ GPT-3 ในการตัดสินใจ การค้นหาข้อมูล การใช้เหตุผล และความสามารถในการตั้งคำถามกับสัญชาตญาณเริ่มต้นของมันเอง เมื่อเปรียบเทียบผลการทดสอบของ GPT-3 กับคำตอบของมนุษย์ พวกเขาประเมินว่าคำตอบนั้นถูกต้องหรือไม่ และข้อผิดพลาดของ GPT-3 นั้นคล้ายคลึงกับข้อผิดพลาดของมนุษย์อย่างไร
“ปัญหาการทดสอบแบบคลาสสิกอย่างหนึ่งของจิตวิทยาการรับรู้ที่เราให้กับ GPT-3 คือปัญหาที่เรียกว่าลินดา” Binz ผู้เขียนนำของการศึกษาอธิบาย ในที่นี้ ผู้เข้าร่วมการทดสอบจะได้รับการแนะนำให้รู้จักกับหญิงสาวสวมบทบาทชื่อลินดาในฐานะบุคคลที่เกี่ยวข้องกับความยุติธรรมทางสังคมและต่อต้านพลังงานนิวเคลียร์ จากข้อมูลที่ได้รับ อาสาสมัครจะถูกขอให้ตัดสินใจระหว่างสองข้อความ: ลินดาเป็นพนักงานธนาคาร หรือเธอเป็นพนักงานธนาคาร และในขณะเดียวกันก็มีส่วนร่วมในการเคลื่อนไหวของสตรีนิยม?
คนส่วนใหญ่เลือกทางเลือกที่สองโดยสัญชาตญาณ แม้ว่าเงื่อนไขเพิ่มเติมที่ว่าลินดามีส่วนร่วมในการเคลื่อนไหวของสตรีนิยมจะทำให้มีโอกาสน้อยลงจากมุมมองที่น่าจะเป็น และ GPT-3 ทำในสิ่งที่มนุษย์ทำ: โมเดลภาษาไม่ได้ตัดสินใจตามตรรกะ แต่สร้างความผิดพลาดที่มนุษย์หลงเข้ามาแทน
ปฏิสัมพันธ์ที่กระตือรือร้นซึ่งเป็นส่วนหนึ่งของสภาพมนุษย์
“ปรากฏการณ์นี้สามารถอธิบายได้ด้วยความจริงที่ว่า GPT-3 อาจคุ้นเคยกับงานที่แม่นยำนี้อยู่แล้ว และอาจบังเอิญรู้ว่าคนทั่วไปตอบคำถามนี้อย่างไร” Binz กล่าว GPT-3 ก็เหมือนกับโครงข่ายประสาทอื่นๆ ที่ต้องผ่านการฝึกอบรมก่อนที่จะนำไปใช้งาน: ได้รับข้อความจำนวนมากจากชุดข้อมูลต่างๆ จึงได้เรียนรู้ว่ามนุษย์มักใช้ภาษาอย่างไร และพวกเขาตอบสนองต่อคำสั่งภาษาอย่างไร
ดังนั้น นักวิจัยจึงต้องการออกกฎว่า GPT-3 สร้างโซลูชันที่จดจำได้โดยอัตโนมัติสำหรับปัญหาที่เป็นรูปธรรม เพื่อให้แน่ใจว่ามันแสดงความฉลาดเหมือนมนุษย์จริง ๆ พวกเขาออกแบบงานใหม่ที่มีความท้าทายคล้ายกัน การค้นพบของพวกเขาแสดงให้เห็นภาพที่แตกต่างกัน: ในการตัดสินใจ GPT-3 ทำงานได้เกือบเทียบเท่ากับมนุษย์ อย่างไรก็ตาม ในการค้นหาข้อมูลเฉพาะหรือการใช้เหตุผล ปัญญาประดิษฐ์ล้าหลังอย่างเห็นได้ชัด เหตุผลนี้อาจเป็นเพราะ GPT-3 ได้รับข้อมูลจากข้อความเท่านั้น ในขณะที่ “การมีปฏิสัมพันธ์กับโลกอย่างแข็งขันจะมีความสำคัญอย่างยิ่งต่อการจับคู่ความซับซ้อนของความรู้ความเข้าใจของมนุษย์” ตามที่ระบุไว้ในสิ่งพิมพ์ ผู้เขียนคาดการณ์ว่าสิ่งนี้อาจเปลี่ยนแปลงได้ในอนาคต เนื่องจากผู้ใช้สื่อสารกับโมเดลอย่าง GPT-3 ในหลายแอปพลิเคชันอยู่แล้ว เครือข่ายในอนาคตสามารถเรียนรู้จากการโต้ตอบเหล่านี้ และด้วยเหตุนี้จึงรวมเข้าหาสิ่งที่เราเรียกว่าความฉลาดเหมือนมนุษย์มากขึ้นเรื่อยๆ