นักวิจัยกล่าวว่า Chatbot ใช้แนวคิดที่ เราไม่สามารถระบุชื่อได้ หรือไม่สามารถทำความเข้าใจ
Chatbot might be using concepts that we don’t have names for or understanding of, researchers say
ผู้สร้าง ChatGPT พยายามใช้ ChatAI เพื่ออธิบาย black box problem
ผู้สร้าง ChatGPT พยายามให้ระบบอธิบายตัวเองว่า ทำอะไรใน black box แม้ว่าจะได้คำอธิบายออกมาบ้าง แต่ก็พบปัญหาบางอย่าง รวมทั้งข้อเท็จจริงที่ว่าปัญญาประดิษฐ์อาจใช้แนวคิดที่เราระบุไม่ได้ ไม่มีชื่อเรียก หรือยังไม่เข้าใจ
นักวิจัยที่ OpenAI ซึ่งพัฒนา ChatGPT ใช้เวอร์ชันล่าสุดของโมเดลที่เรียกว่า GPT-4 เพื่อพยายามอธิบายพฤติกรรมของ GPT-2 ซึ่งเป็นเวอร์ชันก่อนหน้า
เป็นความพยายามที่จะเอาชนะสิ่งที่เรียกว่าปัญหากล่องดำ (black box problem) ด้วย large language models เช่น GPT แม้ว่าเราจะมีความเข้าใจค่อนข้างดีเกี่ยวกับสิ่งที่เข้าและออกจากระบบดังกล่าว แต่งานจริงที่เกิดขึ้นภายในยังคงลึกลับอยู่มาก
นั่นไม่ใช่แค่ปัญหาเพราะทำให้นักวิจัยลำบาก นอกจากนี้ยังหมายความว่าไม่มีทางรู้ว่าความลำเอียงใดที่อาจเกี่ยวข้องกับระบบหรือหากให้ข้อมูลเท็จแก่ผู้คนที่ใช้มัน เนื่องจากไม่มีทางรู้ว่ามันได้ข้อสรุปอย่างไร
วิศวกรและนักวิทยาศาสตร์มีเป้าหมายที่จะแก้ไขปัญหานี้ด้วย “interpretability research” ซึ่งพยายามค้นหาวิธีที่จะมองเข้าไปในตัวแบบจำลองและทำความเข้าใจสิ่งที่เกิดขึ้นให้ดีขึ้น บ่อยครั้ง สิ่งนี้จำเป็นต้องดูที่ “neurons” ที่ประกอบกันเป็นแบบจำลองดังกล่าว เช่นเดียวกับ เซลล์ประสาท หรือ neurons ในสมองของมนุษย์ ระบบ AI ประกอบขึ้นจากโฮสต์ขอสิ่งที่เรียกว่า neurons ซึ่งรวมกันเป็นส่วนประกอบทั้งหมด
การค้นหา neurons แต่ละเซลล์และจุดประสงค์นั้นเป็นเรื่องยาก อย่างไรก็ตาม เนื่องจากมนุษย์ต้องเลือกผ่าน neurons และตรวจสอบด้วยตนเองเพื่อค้นหาว่าเซลล์เหล่านี้เป็นตัวแทนของอะไร แต่บางระบบมีพารามิเตอร์หลายแสนล้านพารามิเตอร์ ดังนั้นการจะผ่านพารามิเตอร์ทั้งหมดด้วยผู้คนจึงเป็นไปไม่ได้
ตอนนี้ นักวิจัยจาก OpenAI ได้มองหาการใช้ GPT-4 เพื่อทำให้กระบวนการนั้นเป็นไปโดยอัตโนมัติ ในความพยายามที่จะเลือกผ่านพฤติกรรมได้รวดเร็วยิ่งขึ้น พวกเขาทำเช่นนั้นโดยพยายามสร้างกระบวนการอัตโนมัติซึ่งจะช่วยให้ระบบสามารถให้คำอธิบายภาษาธรรมชาติเกี่ยวกับพฤติกรรมของ neurons ได้ และนำไปใช้กับรูปแบบภาษาอื่นก่อนหน้านี้
ซึ่งทำงานในสามขั้นตอน: ดูที่ neurons ใน GPT-2 และให้ GPT-4 ลองและอธิบาย จากนั้นจำลองว่า neurons นั้นจะทำอะไร และสุดท้ายให้คะแนนคำอธิบายนั้นโดยการเปรียบเทียบว่าการเปิดใช้งานจำลองทำงานกับของจริงอย่างไร
คำอธิบายส่วนใหญ่แย่ และ GPT-4 ทำคะแนนได้ไม่ดี แต่นักวิจัยกล่าวว่าพวกเขาหวังว่าการทดลองแสดงให้เห็นว่าเป็นไปได้ที่จะใช้เทคโนโลยี AI เพื่ออธิบายตัวเองด้วยการทำงานต่อไป
ผู้สร้างต้องพบกับ “ข้อจำกัด” หลายอย่าง อย่างไรก็ตาม นั่นหมายถึงระบบที่เป็นอยู่ตอนนี้ไม่ดีเท่ามนุษย์ในการอธิบายพฤติกรรม ปัญหาส่วนหนึ่งอาจเป็นเพราะการอธิบายว่าระบบทำงานอย่างไรในภาษาปกตินั้นเป็นไปไม่ได้ เพราะระบบอาจใช้แนวคิดส่วนบุคคลที่มนุษย์ไม่สามารถระบุออกมาได้
“เรามุ่งเน้นไปที่คำอธิบายสั้น ๆ ในภาษาธรรมชาติ แต่ neurons อาจมีพฤติกรรมที่ซับซ้อนมากซึ่งไม่สามารถอธิบายได้อย่างรวบรัด” ผู้เขียนชี้แจง “ตัวอย่างเช่น neurons สามารถสื่อความหมายได้หลายอย่าง (แสดงแนวคิดที่แตกต่างกันมากมาย) หรืออาจเป็นตัวแทนของแนวคิดเดียวที่มนุษย์ไม่เข้าใจหรือมีคำอธิบาย”
นอกจากนี้ยังพบปัญหาเนื่องจากมุ่งเน้นไปที่สิ่งที่ neurons แต่ละอันทำทีละอย่างโดยเฉพาะ และไม่ใช่ผลกระทบที่อาจส่งผลต่อสิ่งต่าง ๆ ในภายหลังในข้อความ ในทำนองเดียวกัน สามารถอธิบายพฤติกรรมเฉพาะแต่ไม่สามารถอธิบายได้ว่ากลไกใดทำให้เกิดพฤติกรรมนั้น และอาจมองเห็นรูปแบบที่ไม่ใช่สาเหตุของพฤติกรรมนั้น แล้วระบบยังใช้พลังการประมวลผลจำนวนมากอีกด้วย นักวิจัยตั้งข้อสังเกต