นักวิจัยได้แนะนำแนวทางใหม่ที่เรียกว่า natural language embedded programs (NLEPs) เพื่อปรับปรุงความสามารถในการให้เหตุผลเชิงตัวเลขและเชิงสัญลักษณ์ (numerical and symbolic reasoning capabilities) ของแบบจำลองภาษาขนาดใหญ่ (large language models – LLM) เทคนิคนี้เกี่ยวข้องกับการกระตุ้นให้ LLM สร้างและรันโปรแกรม Python เพื่อแก้ปัญหาการสืบค้นของผู้ใช้ (user queries) จากนั้นจึงแสดงโซลูชันเป็นภาษาธรรมชาติ (natural language)
Researchers have introduced a novel approach called natural language embedded programs (NLEPs) to improve the numerical and symbolic reasoning capabilities of large language models (LLMs). The technique involves prompting LLMs to generate and execute Python programs to solve user queries, then output solutions in natural language.
NLEP: สะพานเชื่อมช่องว่างระหว่าง LLM และการให้เหตุผลเชิงสัญลักษณ์ (symbolic reasoning)
นักวิจัยได้แนะนำแนวทางใหม่ที่เรียกว่า natural language embedded programs (NLEPs) เพื่อปรับปรุงความสามารถในการให้เหตุผลเชิงตัวเลขและเชิงสัญลักษณ์ (numerical and symbolic reasoning capabilities) ของแบบจำลองภาษาขนาดใหญ่ (large language models – LLM) เทคนิคนี้เกี่ยวข้องกับการกระตุ้นให้ LLM สร้างและรันโปรแกรม Python เพื่อแก้ปัญหาการสืบค้นของผู้ใช้ (user queries) จากนั้นจึงแสดงโซลูชันเป็นภาษาธรรมชาติ (natural language)
แม้ว่า LLM เช่น ChatGPT จะแสดงประสิทธิภาพที่น่าประทับใจในงานต่างๆ แต่พวกเขาก็มักจะประสบปัญหาที่ต้องใช้การให้เหตุผลเชิงตัวเลขหรือสัญลักษณ์
NLEP ทำตามเทมเพลตการแก้ปัญหาสี่ขั้นตอน: การเรียกใช้แพ็คเกจที่จำเป็น การนำเข้าการนำเสนอภาษาธรรมชาติของความรู้ที่จำเป็น การใช้ฟังก์ชันการคำนวณวิธีแก้ปัญหา และการส่งออกผลลัพธ์เป็นภาษาธรรมชาติพร้อมการแสดงข้อมูลเสริม
วิธีการนี้มีข้อดีหลายประการ รวมถึงความแม่นยำ ความโปร่งใส และประสิทธิภาพที่ได้รับการปรับปรุง ผู้ใช้สามารถตรวจสอบโปรแกรมที่สร้างขึ้นและแก้ไขข้อผิดพลาดได้โดยตรง โดยไม่จำเป็นต้องรันโมเดลทั้งหมดอีกครั้งเพื่อแก้ไขปัญหา นอกจากนี้ NLEP เดียวยังสามารถนำมาใช้ซ้ำสำหรับงานต่างๆ ได้โดยการแทนที่ตัวแปรบางตัว
นักวิจัยพบว่า NLEP ช่วยให้ GPT-4 มีความแม่นยำมากกว่า 90% ในงานการให้เหตุผลเชิงสัญลักษณ์ต่างๆ ซึ่งมีประสิทธิภาพเหนือกว่าวิธี task-specific prompting methods ถึง 30%
นอกเหนือจากการปรับปรุงความแม่นยำแล้ว NLEP ยังสามารถเพิ่มความเป็นส่วนตัวของข้อมูลได้ด้วยการรันโปรแกรมในเครื่อง ซึ่งไม่จำเป็นต้องส่งข้อมูลผู้ใช้ที่ละเอียดอ่อนไปยังบริษัทภายนอกเพื่อการประมวลผล เทคนิคนี้ยังอาจเพิ่มประสิทธิภาพของโมเดลภาษาเล็กๆ โดยไม่ต้องมีการฝึกอบรมซ้ำซึ่งมีค่าใช้จ่ายสูง
อย่างไรก็ตาม NLEP อาศัยความสามารถในการสร้างโปรแกรมของโมเดล และอาจทำงานได้ไม่ดีนักกับโมเดลขนาดเล็กที่ได้รับการฝึกบนชุดข้อมูลที่จำกัด การวิจัยในอนาคตจะสำรวจวิธีการในการทำให้ LLM ขนาดเล็กสร้าง NLEP ที่มีประสิทธิภาพมากขึ้น และตรวจสอบผลกระทบของการเปลี่ยนแปลงที่เกิดขึ้นอย่างรวดเร็วต่อความสมบูรณ์ของการให้เหตุผล
งานวิจัยนี้ซึ่งได้รับการสนับสนุนบางส่วนจาก Centre for Perceptual and Interactive Intelligence of Hong Kong แล้วจะถูกนำเสนอในการประชุมประจำปีของ North American Chapter ของ Association for Computational Linguistics ในปลายเดือนนี้