Zero-shot learning and the foundations of generative AI

เทคนิค Generative AI ที่ไม่ต้องพึ่งพาชุดข้อมูลที่มีป้ายกำกับกำลังได้รับความนิยม โดยเฉพาะอย่างยิ่งการเรียนรู้แบบ one-shot และ zero-shot แม้ว่าวิธีการเหล่านี้ต้องการข้อมูลการฝึกอบรมเพียงเล็กน้อยและมีประโยชน์สำหรับอุตสาหกรรมต่างๆ แต่ก็ต้องการการวิจัยและการทดลองที่กว้างขวางก่อนที่จะนำไปใช้ในธุรกิจ การเรียนรู้แบบ one-shot เกี่ยวข้องกับการใช้ตัวอย่างการฝึกอบรมเดียวเพื่อกำหนดคะแนนความคล้ายคลึงกันระหว่าง headshot สองภาพ ในขณะที่การเรียนรู้แบบ zero-shot ต้องใช้ข้อมูลเมตาตามบริบทเพื่อจัดประเภทภาพใหม่ เทคนิคเหล่านี้มีประโยชน์ในการดูแลสุขภาพ การผลิต และอุตสาหกรรมอื่นๆ แต่ก็มีข้อจำกัดเมื่อต้องใช้สถานการณ์ที่มีความแม่นยำสูง เช่น การระบุเซลล์มะเร็งในภาพทางพยาธิวิทยา นักพัฒนาและนักวิทยาศาสตร์ข้อมูลจำเป็นต้องพิจารณาเทคนิคการเรียนรู้เหล่านี้เป็นพื้นฐานสำหรับแอปพลิเคชันและโซลูชันใหม่ๆ

Generative AI techniques that do not rely on labeled data sets are gaining popularity, especially one-shot and zero-shot learning. While these methods require minimal training data and are useful for various industries, they require extensive research and experimentation before being applied in business. One-shot learning involves using a single training example to determine the similarity score between two headshots, while zero-shot learning requires contextual metadata to classify new images. These techniques are useful in healthcare, manufacturing, and other industries, but they have limitations when it comes to high-precision scenarios like identifying cancer cells in pathology images. Developers and data scientists need to consider these learning techniques as building blocks for new applications and solutions.

การเรียนรู้แบบ Zero-shot และรากฐานของ generative AI
ทางเลือกในการฝึกอบรมด้วยชุดข้อมูลขนาดใหญ่นี้มีศักยภาพสำหรับธุรกิจ แต่ทีมวิทยาศาสตร์ข้อมูลจะต้องใช้เวลาในการค้นคว้าและทดลอง

เราอาจจำได้ว่าปี 2022 เป็นปีที่เทคนิค AI แบบรู้คิดเปลี่ยนจากห้องทดลองไปสู่การใช้งานทั่วไป ChatGPT ซึ่งเป็น AI เชิงสนทนาที่ตอบคำถาม เพิ่มผู้ใช้จากศูนย์เป็นหนึ่งล้านคนภายในเวลาไม่ถึงสัปดาห์ การสร้างภาพ AI DALL-E 2, Midjourney และ Stable Diffusion เปิดการเข้าถึงสาธารณะและดึงดูดความสนใจของโลกด้วยความหลากหลายและคุณภาพของภาพที่สร้างจากวลีและประโยคสั้นๆ

ฉันยอมรับว่าสนุกไปกับ DALL-E 2 นี่คือความหมายของวิญญาณที่หลงทางสองดวงที่ว่ายน้ำในตู้ปลา และทิม เบอร์ตันแสดงให้เห็นความเจ็บปวดของการเปิดอะโวคาโดที่ยังไม่สุก

Torsten Grabs ผู้อำนวยการฝ่ายการจัดการผลิตภัณฑ์ของ Snowflake กล่าวว่า “AI ได้สร้างหัวข้อข่าวสำหรับโครงการต่างๆ เช่น รถยนต์ไร้คนขับอย่าง Tesla และ Waymo การเล่นเกมที่เหนือชั้น (นึกถึง AlphaGo) และการสร้างงานศิลปะที่น่าหลงใหลอย่าง DALL-E”
[ นอกจากนี้ใน InfoWorld: วิธีเลือกแพลตฟอร์มการเรียนรู้ของเครื่องบนคลาวด์ ]

โมเดลแมชชีนเลิร์นนิงจำนวนมากใช้เทคนิคการเรียนรู้ภายใต้การดูแล ซึ่งโครงข่ายประสาทเทียมหรือโมเดลอื่นๆ ได้รับการฝึกอบรมโดยใช้ชุดข้อมูลที่มีป้ายกำกับ ตัวอย่างเช่น คุณสามารถเริ่มต้นด้วยฐานข้อมูลของรูปภาพที่ติดแท็กเป็นแมว สุนัข และสัตว์เลี้ยงอื่นๆ และฝึก CNN (โครงข่ายประสาทเทียมแบบหมุนวน) เพื่อจัดประเภทพวกมัน

ในโลกแห่งความเป็นจริง การติดฉลากชุดข้อมูลตามขนาดนั้นมีราคาแพงและซับซ้อน การดูแลสุขภาพ การผลิต และอุตสาหกรรมอื่นๆ มีกรณีการใช้งานที่แตกต่างกันมากมายสำหรับการคาดการณ์ที่แม่นยำ ข้อมูลสังเคราะห์สามารถช่วยเพิ่มชุดข้อมูลได้ แต่การฝึกอบรมและการบำรุงรักษาโมเดลการเรียนรู้ภายใต้การดูแลยังคงมีค่าใช้จ่ายสูง
เทคนิคการเรียนรู้แบบ one-shot และ zero-shot

หากต้องการทำความเข้าใจ AI เชิงกำเนิด ให้เริ่มด้วยการทำความเข้าใจอัลกอริทึมการเรียนรู้ที่ไม่ต้องพึ่งพาชุดข้อมูลที่มีป้ายกำกับ อัลกอริทึมการเรียนรู้แบบ one-shot และ zero-shot เป็นแนวทางตัวอย่างที่เป็นรากฐานสำหรับเทคนิค AI เชิงสร้างสรรค์

นี่คือวิธีที่ ChatGPT กำหนดการเรียนรู้แบบ one-shot และ zero-shot:

 “การเรียนรู้แบบ one-shot และ zero-shot เป็นทั้งเทคนิคที่ช่วยให้โมเดลสามารถเรียนรู้และจัดกลุ่มตัวอย่างใหม่ด้วยข้อมูลการฝึกอบรมจำนวนจำกัด ในแมชชีนเลิร์นนิงแบบ one-shot โมเดลจะได้รับการฝึกอบรมจากตัวอย่างจำนวนเล็กน้อย และคาดว่าจะสรุปได้เป็นตัวอย่างใหม่ที่มองไม่เห็นซึ่งดึงมาจากการแจกแจงแบบเดียวกัน การเรียนรู้แบบ Zero-shot หมายถึงความสามารถของแบบจำลองในการจำแนกตัวอย่างใหม่ที่มองไม่เห็นซึ่งเป็นของชั้นเรียนที่ไม่มีอยู่ในข้อมูลการฝึกอบรม”

David Talby ซีทีโอของ John Snow Labs กล่าวว่า “ตามชื่อที่สื่อความหมาย การเรียนรู้แบบ one-shot หรือ สองสามช็อตมีเป้าหมายเพื่อจำแนกวัตถุจากตัวอย่างเพียงตัวอย่างเดียวหรือไม่กี่ตัวอย่าง เป้าหมายคือให้มนุษย์กระตุ้นแบบจำลองเป็นภาษาอังกฤษธรรมดาเพื่อระบุรูปภาพ วลี หรือข้อความได้สำเร็จ”

การเรียนรู้แบบ one-shot ดำเนินการด้วยตัวอย่างการฝึกอบรมเดียวสำหรับแต่ละตัวอย่าง เช่น ภาพศีรษะของพนักงานใหม่ จากนั้นโมเดลจะสามารถคำนวณคะแนนความคล้ายคลึงกันระหว่างภาพศีรษะสองภาพ เช่น ภาพถ่ายของบุคคลที่ตรงกับตัวอย่าง และคะแนนจะเป็นตัวกำหนดการจับคู่ที่เพียงพอในการให้สิทธิ์เข้าถึง ตัวอย่างหนึ่งของการเรียนรู้แบบ one-shot ใช้ชุดข้อมูล Omniglot ซึ่งเป็นชุดอักขระที่วาดด้วยมือ 1,623 ตัวจาก 50 ตัวอักษรที่แตกต่างกัน

ในการเรียนรู้แบบ Zero-shot เครือข่ายจะได้รับการฝึกอบรมเกี่ยวกับรูปภาพและข้อมูลที่เกี่ยวข้อง รวมถึงคำอธิบายภาพและข้อมูลเมตาตามบริบทอื่นๆ วิธีหนึ่งในการเรียนรู้แบบ Zero-shot คือการใช้ CLIP (Contrastive Language-Image Pretraining) ของ OpenAI เพื่อลดขนาดของภาพลงในการเข้ารหัส สร้างรายการป้ายกำกับที่เป็นไปได้ทั้งหมดจากข้อความ จากนั้นคำนวณคะแนนความคล้ายคลึงกันที่จับคู่รูปภาพกับป้ายกำกับ จากนั้นสามารถใช้โมเดลเพื่อจำแนกรูปภาพใหม่เป็นป้ายกำกับโดยใช้คะแนนความคล้ายคลึงกัน

AI DALL-E กำเนิดของ OpenAI ใช้ CLIP และ GAN (เครือข่ายฝ่ายตรงข้ามเชิงกำเนิด) เพื่อทำหน้าที่ย้อนกลับและสร้างรูปภาพจากข้อความ
การประยุกต์ใช้เทคนิคการเรียนรู้แบบไม่กี่ช็อต

การประยุกต์ใช้เทคนิคการเรียนรู้แบบช็อตช็อตอย่างหนึ่งคือในการดูแลสุขภาพ ซึ่งสามารถใช้ภาพทางการแพทย์พร้อมการวินิจฉัยเพื่อพัฒนาแบบจำลองการจำแนกประเภทได้ “โรงพยาบาลแต่ละแห่งอาจวินิจฉัยโรคได้แตกต่างกัน” ทัลบีกล่าว “ด้วยการเรียนรู้เพียงครั้งเดียวหรือไม่กี่ช็อต แพทย์สามารถกระตุ้นอัลกอริทึมได้โดยไม่ต้องใช้รหัสใดๆ เพื่อให้ได้ผลลัพธ์ที่แน่นอน”

แต่อย่าคาดหวังว่าการตรวจวินิจฉัยทางรังสีโดยอัตโนมัติจะเร็วเกินไป Talby กล่าวว่า “ในขณะที่ความสามารถในการดึงข้อมูลโดยอัตโนมัตินั้นมีค่ามาก แต่การเรียนรู้เพียงครั้งเดียว น้อย หรือแม้แต่ zero-shot จะไม่สามารถแทนที่ผู้เชี่ยวชาญทางการแพทย์ได้ในเร็วๆ นี้”

Pandurang Kamat, CTO ของ Persistent แบ่งปันการใช้งานที่เป็นไปได้อื่นๆ อีกหลายรายการ “เทคนิคการเรียนรู้แบบไม่มีช็อตและช็อตไม่กี่ช็อตช่วยปลดล็อกโอกาสในด้านต่าง ๆ เช่น การค้นพบยา การค้นพบโมเลกุล การหาประโยชน์แบบซีโร่เดย์ การเบี่ยงเบนกรณีสำหรับทีมสนับสนุนลูกค้า และอื่น ๆ ที่ข้อมูลการฝึกอบรมที่มีป้ายกำกับอาจทำได้ยาก”

Kamat ยังเตือนถึงข้อจำกัดในปัจจุบัน “ในการมองเห็นด้วยคอมพิวเตอร์ เทคนิคเหล่านี้ใช้ได้ดีสำหรับการจดจำภาพ การจำแนกประเภท และการติดตาม แต่อาจมีปัญหาในฉากที่มีความแม่นยำสูง/ต้องการความแม่นยำ
นาริออสชอบระบุเซลล์มะเร็งและทำเครื่องหมายรูปร่างของมันในภาพทางพยาธิวิทยา” เขากล่าว

การผลิตยังมีแอปพลิเคชันที่เป็นไปได้สำหรับการเรียนรู้แบบไม่กี่ช็อตในการระบุข้อบกพร่อง Arjun Chandar ซีอีโอของ IndustrialML กล่าวว่า “ไม่มีโรงงานที่ดำเนินการอย่างดีจะสร้างข้อบกพร่องมากพอที่จะมีรูปภาพระดับข้อบกพร่องจำนวนมากให้ฝึก ดังนั้นอัลกอริทึมจึงจำเป็นต้องสร้างขึ้นเพื่อระบุสิ่งเหล่านั้นโดยอิงจากตัวอย่างไม่กี่โหล” Arjun Chandar ซีอีโอของ IndustrialML กล่าว
สร้างโซลูชัน AI ยุคหน้า

นักวิทยาศาสตร์ด้านข้อมูลอาจลองใช้แนวทางการเรียนรู้แบบ one-shot และ zero-shot เพื่อแก้ปัญหาการจำแนกประเภทด้วยชุดข้อมูลที่ไม่มีป้ายกำกับ วิธีการเรียนรู้อัลกอริทึมและเครื่องมือบางอย่าง ได้แก่ การใช้ Amazon SageMaker เพื่อสร้างระบบแจ้งเตือนตามข่าว หรือใช้การเรียนรู้แบบ Zero-shot ในตัวแทนการสนทนา

นักพัฒนาและนักวิทยาศาสตร์ข้อมูลควรพิจารณาเทคนิคการเรียนรู้ใหม่และโมเดลที่มีอยู่เป็นหน่วยการสร้างสำหรับแอปพลิเคชันและโซลูชันใหม่ แทนที่จะเป็นโมเดลเฉพาะปัญหาที่ปรับให้เหมาะสม ตัวอย่างเช่น Chang Liu ผู้อำนวยการฝ่ายวิศวกรรมของ Moveworks กล่าวว่านักพัฒนาสามารถใช้ประโยชน์จากโมเดล NLP (การประมวลผลภาษาธรรมชาติ) ขนาดใหญ่ แทนที่จะสร้างโมเดลขึ้นมาเอง

“ด้วยการเปิดตัวโมเดลภาษาขนาดใหญ่ ทีมต่างใช้ประโยชน์จากระบบอัจฉริยะเหล่านี้เพื่อแก้ปัญหาในวงกว้าง แทนที่จะสร้างแบบจำลองใหม่ทั้งหมด แบบจำลองภาษาจำเป็นต้องได้รับการฝึกอบรมเกี่ยวกับคำอธิบายของงานและคำตอบที่เหมาะสมเท่านั้น” Liu กล่าว

โซลูชัน AI ในอนาคตอาจดูเหมือนแอปพลิเคชันซอฟต์แวร์ในปัจจุบัน โดยมีการผสมผสานระหว่างโมเดลที่เป็นกรรมสิทธิ์ คอมโพเนนต์เชิงพาณิชย์และโอเพ่นซอร์สแบบฝังตัว และบริการของบุคคลที่สาม “ความสำเร็จนั้นอยู่ใกล้แค่เอื้อมสำหรับบริษัทเกือบทุกแห่งที่ต้องการใช้เวลาในการกำหนดปัญหาสำหรับโซลูชัน AI และใช้เครื่องมือและแนวทางปฏิบัติใหม่ ๆ เพื่อสร้างการปรับปรุงขั้นต้นและต่อเนื่อง” Grabs of Snowflake กล่าว

เราน่าจะได้เห็นแนวทางการเรียนรู้ใหม่ๆ และความสำเร็จของ AI ในปี 2023 ดังนั้นทีมวิทยาศาสตร์ข้อมูลจึงต้องค้นคว้า เรียนรู้ และทดลองอย่างต่อเนื่อง

view origin