ความเชื่อที่ยาวนาน เกี่ยวกับความสามารถของ AI ว่ายิ่งใหญ่ขึ้น ยิ่งมากขึ้นย่อมดีกว่า โมเดลที่ใหญ่ขึ้น เทรนนิ่งด้วยชุดข้อมูลมากขึ้น ย่อมเท่ากับประสบการณ์ AI ที่ดีขึ้น
A long-held opinion about AI capabilities is that bigger and more are better. Bigger models, with more data, invariably equal better AI experiences.
small language models เพิ่มคุณค่าด้วยต้นทุนที่ต่ำลง โมเดล AI เล็กลง และใช้งานได้บนอุปกรณ์จำนวนมากขึ้น
ความเชื่อที่ยาวนาน เกี่ยวกับความสามารถของ AI ว่ายิ่งใหญ่ขึ้น ยิ่งมากขึ้นย่อมดีกว่า โมเดลที่ใหญ่ขึ้น เทรนนิ่งด้วยชุดข้อมูลมากขึ้น ย่อมเท่ากับประสบการณ์ AI ที่ดีขึ้น
ความเป็นจริงของตลาดในปัจจุบันแตกต่างอย่างสิ้นเชิง ปรากฏว่าบริษัทต่างๆ ที่นำ generative AI มาใช้ในปัจจุบัน ไม่จำเป็นต้องมีโมเดลที่มีพารามิเตอร์ 1 ล้านล้าน หรือแม้แต่พารามิเตอร์หลายร้อยพันล้านตัว ที่ใช้ในการฝึก LLM ในทางกลับกัน องค์กรจำนวนมากกำลังนำโมเดลภาษาขนาดเล็ก (small language models – SLM) มาใช้ ซึ่งปรับแต่งมาเพื่อจัดการกับงานที่เฉพาะเจาะจง
ขนาดโมเดลดังกล่าวมีตั้งแต่หนึ่งร้อยล้านถึงหนึ่งแสนล้านพารามิเตอร์ โดยหลายตัวสามารถทำงานบนพีซี หรือแม้แต่สมาร์ทโฟนได้ ใครจะรู้ ในที่สุด SLM อาจถูกนำมาใช้งานกับชุดหูฟังเสมือนจริง (virtual reality headsets)
วงจรการพัฒนาโมเดล LLM ขององค์กรต่างๆ จะมีการทดสอบ แล้วนำผลลัพธ์กลับมาปรับปรุง วนไป เพื่อ proof-of-concepts ก่อนนำมาใช้งาน เมื่อได้ทดลองซ้ำๆ พวกเขาพบว่า พวกเขาสามารถได้ผลลัพธ์ที่คล้ายคลึงกัน โดยมีต้นทุนที่ต่ำกว่า โดยใช้โมเดล AI ขนาดเล็กจาก Microsoft, Meta และ Google รวมถึงสตาร์ทอัปอย่าง Hugging Face, Mistral และ Anthropic
จากรายงานของ The Wall Street Journal บริษัทต่างๆ เริ่มใช้ระบบอัตโนมัติในการดึงข้อมูลและวิเคราะห์ข้อมูลบริการลูกค้าเพื่อให้ทันกับพฤติกรรมของผู้บริโภค โดยการใช้ SLM ร่วมกับวิธีการต่างๆ เช่น การปรับแต่งละเอียด (finetuning) และ retrieval augmented generation (RAG) เพื่อปรับแต่งผลลัพธ์ โดยใช้ข้อมูลขององค์กร และยังมีกรณีการใช้งานเพิ่มมากขึ้นเรื่อยๆ
ขนาดเล็กเพื่อประโยชน์ที่ยิ่งใหญ่
ต้นทุนเป็นปัจจัยสำคัญอย่างแน่นอนสำหรับผู้นำด้าน IT ที่กำลังชั่งใจว่าจะลงทุนในเทคโนโลยีใหม่ๆ เช่น GenAI อย่างไร แม้แต่ OpenAI ซึ่งเป็นผู้นำด้านโมเดล AI ที่มี ChatGPT เป็นตัวจุดกระแส Generative AI ก็ยังออกโมเดลที่มีขนาดเล็กกว่า และมีต้นทุนต่ำกว่าเมื่อไม่นานนี้
ต้นทุนที่ต่ำกว่าไม่ใช่ข้อได้เปรียบเพียงอย่างเดียวของการใช้ SLM
การเพิ่มความเร็ว และเพิ่มประสิทธิภาพของโมเดล LLM ต้องใช้ GPU หลายตัว ซึ่งอาจทำให้ inference time ช้าลง อย่างไรก็ตาม SLM สามารถทำงานภายในเครื่องของคุณได้ สามารถ generate งานตามคำสั่ง prompts ของคุณได้อย่างรวดเร็ว โดยไม่จำเป็นต้องเชื่อมต่อกับคลาวด์
ลด Latency ใช้พารามิเตอร์ที่ต้องประมวลผลน้อยกว่า หมายถึงเวลาตอบสนองที่รวดเร็วขึ้น SLM ยังไม่น่าจะแซงหน้า GPT-4o ได้ในเร็วๆ นี้ แต่ขึ้นอยู่กับความต้องการขององค์กรหรือกรณีการใช้งาน
Domain Specificity: เนื่องจาก SLM มักได้รับการฝึกอบรมในโดเมนเฉพาะ (Domain Specificity) จึงอาจให้ผลลัพธ์ที่ตรงความต้องการกว่า LLM ซึ่งมุ่งเป้าไปที่การสรุปทั่วไปที่กว้างๆ สิ่งนี้เหมาะกับกรณีที่ องค์กรมีชุดข้อมูลที่จำเพาะใช้เทรนนิ่งโมเดล SLM ของตนเอง
Limit Errors: จำกัดข้อผิดพลาด Hallucinations อาการหลอนยังคงเป็นความกลัว องค์กรต่างๆ ยังกังวลเกี่ยวกับโมเดล AI ที่ให้คำตอบเป็นข้อมูลที่ไม่ถูกต้อง หรือข้อมูลที่มีความลำเอียง ความเห็นพ้องของอุตสาหกรรมถือว่าการใช้ชุดข้อมูลการฝึกอบรมที่เล็กกว่า ควบคู่ไปกับ RAG และมีมนุษย์ตรวจสอบอยู่ อาจลดความไม่แม่นยำในผลลัพธ์ได้
Increase Sustainability: การลดขนาดโมเดล AI โดยเลือกใช้ SLM แทน LLM นั้นดีต่อสิ่งแวดล้อมด้วยเช่นกัน AI ใช้พลังงานจำนวนมหาศาลในการผลิตโทเค็น การลด quotient นี้จึงช่วยลด AI footprint ขององค์กรจึงมีความจำเป็นในการปฏิบัติตามมาตรฐานความยั่งยืนขององค์กร
high-level observations เห็นถึงความต้องการ SLM ที่เพิ่มมากขึ้น จากแนวโน้มการลดขนาดในปัจจุบัน
เพื่อปรับข้อมูลการฝึกอบรมที่มีอยู่ ให้ข้อมูลเป็นรูปแบบสังเคราะห์ (synthetic formats) โมเดลจะต้องมีขนาดใหญ่ก่อน จึงจะทำให้เล็กลงได้ ส่งผลให้ได้โมเดลมีขนาดเล็กลงที่สามารถคิดได้ค่อนข้างดี ตามที่ Andrej Karpathy อดีตวิศวกร OpenAI กล่าว นักพัฒนา Drew Breunig กล่าวว่าผู้สร้างโมเดลเริ่มเลือกสรรข้อมูลการฝึกอบรมที่ใช้เพื่อสร้างโมเดลที่มีขนาดเล็กลง และมีประสิทธิภาพมากขึ้น
เป็นเรื่องดีเมื่อคุณพิจารณาถึงการขาดข้อมูลเพื่อใช้ในการฝึกอบรม LLM โมเดลที่มีขนาดเล็กลงดูเหมือนว่าจะมีความจำเป็นในทางปฏิบัติพอๆ กับที่เป็นผลดีต่องบประมาณและประสิทธิภาพของ IT