OpenAI และบริษัท AI ชั้นนำอื่น ๆ กำลังพัฒนาเทคนิคการฝึกใหม่เพื่อแก้ไขข้อจำกัดของวิธีการปัจจุบัน โดยมุ่งเน้นให้พฤติกรรมของ AI มีลักษณะคล้ายมนุษย์มากขึ้น เพื่อสอนให้อัลกอริทึมสามารถ “คิด” ได้อย่างมีประสิทธิภาพ
OpenAI and other leading AI companies are developing new training techniques to overcome limitations of current methods. Addressing unexpected delays and complications in the development of larger, more powerful language models, these fresh techniques focus on human-like behaviour to teach algorithms to ‘think.
เทคนิคการฝึก AI แบบใหม่มุ่งแก้ปัญหาท้าทายปัจจุบัน
OpenAI และบริษัท AI ชั้นนำอื่น ๆ กำลังพัฒนาเทคนิคการฝึกใหม่เพื่อแก้ไขข้อจำกัดของวิธีการปัจจุบัน โดยมุ่งเน้นให้พฤติกรรมของ AI มีลักษณะคล้ายมนุษย์มากขึ้น เพื่อสอนให้อัลกอริทึมสามารถ “คิด” ได้อย่างมีประสิทธิภาพ
เทคนิคการฝึกเหล่านี้ ซึ่งรายงานว่ามีการพัฒนาโดยนักวิจัย นักวิทยาศาสตร์ และนักลงทุนด้าน AI จำนวนมาก เป็นรากฐานของโมเดล ‘o1’ ล่าสุดของ OpenAI (ก่อนหน้านี้รู้จักกันในชื่อ Q* และ Strawberry) และมีศักยภาพในการเปลี่ยนแปลงวงการพัฒนา AI อย่างมหาศาล ความก้าวหน้าที่รายงานนี้อาจส่งผลต่อประเภทหรือปริมาณของทรัพยากรที่บริษัท AI ต้องการอย่างต่อเนื่อง รวมถึงฮาร์ดแวร์เฉพาะทางและพลังงานที่ใช้ในการพัฒนาโมเดล AI
โมเดล o1 ถูกออกแบบมาเพื่อแก้ปัญหาด้วยวิธีที่เลียนแบบการใช้เหตุผลและการคิดแบบมนุษย์ โดยแบ่งงานออกเป็นขั้นตอนต่าง ๆ นอกจากนี้ โมเดลยังใช้ข้อมูลเฉพาะทางและข้อเสนอแนะจากผู้เชี่ยวชาญในอุตสาหกรรม AI เพื่อเพิ่มประสิทธิภาพ
นับตั้งแต่ ChatGPT เปิดตัวโดย OpenAI ในปี 2022 ได้เกิดการพัฒนานวัตกรรม AI อย่างรวดเร็ว หลายบริษัทเทคโนโลยีอ้างว่าโมเดล AI ที่มีอยู่ในปัจจุบันต้องการการขยายตัว ไม่ว่าจะเป็นการใช้ข้อมูลจำนวนมากขึ้นหรือทรัพยากรการประมวลผลที่ดีขึ้น เพื่อให้โมเดลสามารถพัฒนาได้อย่างต่อเนื่อง
อย่างไรก็ตาม ผู้เชี่ยวชาญด้าน AI รายงานว่าโมเดล AI ที่ใหญ่ขึ้นกำลังเผชิญข้อจำกัดในการขยายตัว ยุค 2010 เป็นช่วงเวลาของการขยายตัวครั้งใหญ่ แต่ Ilya Sutskever ผู้ร่วมก่อตั้ง AI labs Safe Superintelligence (SSI) และ OpenAI กล่าวว่า การฝึกโมเดล AI โดยเฉพาะในการทำความเข้าใจโครงสร้างและรูปแบบของภาษา ได้มาถึงจุดอิ่มตัว
“ยุค 2010 คือยุคของการขยายตัว แต่ตอนนี้เรากลับมาสู่ยุคของความพิศวงและการค้นพบอีกครั้ง การขยายสิ่งที่ถูกต้องมีความสำคัญมากกว่าในตอนนี้” เขากล่าว
ในช่วงที่ผ่านมา นักวิจัยจาก AI labs ประสบกับความล่าช้าและความท้าทายในการพัฒนาและปล่อยโมเดลภาษาใหญ่ (LLM) ที่ทรงพลังยิ่งกว่า GPT-4 ของ OpenAI
หนึ่งในความท้าทายคือค่าใช้จ่ายในการฝึกโมเดลขนาดใหญ่ ซึ่งมักสูงถึงหลักหลายสิบล้านดอลลาร์ และเนื่องจากความซับซ้อนของระบบ ฮาร์ดแวร์อาจล้มเหลว ทำให้การวิเคราะห์ขั้นสุดท้ายของการทำงานของโมเดลต้องใช้เวลาหลายเดือน
นอกจากนี้ การฝึกโมเดลยังต้องการพลังงานจำนวนมาก ซึ่งมักส่งผลให้เกิดปัญหาการขาดแคลนพลังงานที่อาจรบกวนกระบวนการและส่งผลต่อโครงข่ายไฟฟ้ากว้างขวาง อีกทั้งยังมีปริมาณข้อมูลมหาศาลที่โมเดลภาษาใหญ่ใช้ ซึ่งมีรายงานว่าโมเดล AI ได้ใช้ข้อมูลที่สามารถเข้าถึงได้ทั้งหมดทั่วโลกแล้ว
นักวิจัยกำลังสำรวจเทคนิคที่เรียกว่า ‘test-time compute’ เพื่อปรับปรุงโมเดล AI ปัจจุบันในระหว่างการฝึกหรือระหว่างการประมวลผล เทคนิคนี้สามารถสร้างคำตอบหลาย ๆ คำตอบแบบเรียลไทม์เพื่อเลือกช่วงของคำตอบที่ดีที่สุด ดังนั้น โมเดลจึงสามารถจัดสรรทรัพยากรการประมวลผลเพิ่มเติมให้กับงานที่ซับซ้อน ซึ่งต้องการการตัดสินใจและการใช้เหตุผลแบบมนุษย์ เป้าหมายคือทำให้โมเดลมีความแม่นยำและมีประสิทธิภาพมากขึ้น
Noam Brown นักวิจัยจาก OpenAI ผู้ช่วยพัฒนาโมเดล o1 ได้ยกตัวอย่างว่าแนวทางใหม่สามารถให้ผลลัพธ์ที่น่าประหลาดใจได้อย่างไร ในการประชุม TED AI ที่ซานฟรานซิสโกเมื่อเดือนที่แล้ว Brown อธิบายว่า “การให้บอทคิดเพียง 20 วินาทีในเกมโป๊กเกอร์ ให้ผลลัพธ์ที่ดีเทียบเท่ากับการขยายโมเดล 100,000 เท่าและฝึกมันนานขึ้น 100,000 เท่า”
แทนที่จะเพียงแค่เพิ่มขนาดของโมเดลและเวลาการฝึก วิธีนี้อาจเปลี่ยนวิธีที่โมเดล AI ประมวลผลข้อมูล และนำไปสู่ระบบที่ทรงพลังและมีประสิทธิภาพมากขึ้น
มีรายงานว่า AI labs อื่น ๆ กำลังพัฒนาเวอร์ชันของเทคนิค o1 เช่น xAI, Google DeepMind และ Anthropic แม้การแข่งขันในโลก AI จะไม่ใช่เรื่องใหม่ แต่เราอาจเห็นผลกระทบสำคัญต่อตลาดฮาร์ดแวร์ AI อันเป็นผลจากเทคนิคใหม่เหล่านี้ บริษัทอย่าง Nvidia ซึ่งปัจจุบันครองตลาดชิป AI เนื่องจากความต้องการสินค้าสูง อาจได้รับผลกระทบจากเทคนิคการฝึก AI ที่ได้รับการปรับปรุง
Nvidia กลายเป็นบริษัทที่มีมูลค่าสูงที่สุดในโลกเมื่อเดือนตุลาคมที่ผ่านมา และความสำเร็จนี้ส่วนใหญ่เป็นผลจากการใช้ชิปของบริษัทใน AI arrays เทคนิคใหม่อาจส่งผลต่อสถานะของ Nvidia ในตลาด ทำให้บริษัทต้องปรับผลิตภัณฑ์เพื่อตอบสนองความต้องการฮาร์ดแวร์ AI ที่พัฒนาไป อาจเปิดโอกาสใหม่ให้กับคู่แข่งรายอื่นในตลาดการประมวลผล AI
ยุคใหม่ของการพัฒนา AI อาจอยู่บนขอบฟ้า โดยขับเคลื่อนด้วยความต้องการฮาร์ดแวร์ที่เปลี่ยนไป และวิธีการฝึกที่มีประสิทธิภาพมากขึ้น เช่นเดียวกับที่ใช้ในโมเดล o1 อนาคตของทั้งโมเดล AI และบริษัทเบื้องหลังอาจถูกปรับเปลี่ยน เปิดประตูสู่ความเป็นไปได้ที่ไม่เคยมีมาก่อนและการแข่งขันที่รุนแรงยิ่งขึ้น