“เราไม่มีความลับ” Luke Sernau กล่าว และเสริมว่าความหวังที่ดีที่สุดของ Google คือการเรียนรู้จากสิ่งที่คนอื่นทำนอกบริษัท
“We have no secret sauce,” said Luke Sernau adding that Google’s best hope is to learn from what others are doing outside of the company.
วิศวกรอาวุโสต้องการให้ Google มุ่งเน้นไปที่ LLM ขนาดเล็กที่ฝึกอบรมได้ง่ายกว่า
ใครจะชนะการแข่งขัน AI? ไม่ใช่ Google หรือ Microsoft แต่เป็นโอเพ่นซอร์ส วิศวกรอาวุโสของ Google กล่าว
การแข่งขันระหว่างบริษัทเทคโนโลยีขนาดใหญ่กำลังก้าวสู่จุดสูงสุดพร้อมกับการเริ่มต้นของยุคเจเนอเรทีฟ AI และบางบริษัทถึงกับประกาศว่าเป็น ‘สงครามเอไอ’ จากรูปลักษณ์ดังกล่าว ดูเหมือนว่า Microsoft จะอยู่แถวหน้าด้วยคลังแสงอันมหาศาลของบริษัทเทคโนโลยีเจเนอเรทีฟ ผลิตภัณฑ์ที่ขับเคลื่อนด้วย AI เช่น Bing Chat และ Image Creator ในขณะเดียวกัน ดูเหมือนว่า Google จะไม่ได้ล้าหลังเกินไป แม้ว่ามันจะยังไม่เปิดตัวผลิตภัณฑ์ AI แบบสแตนด์อโลน หรือผนวกเทคโนโลยีเข้ากับผลิตภัณฑ์ที่ใหญ่ที่สุดอย่าง Google Search
อย่างไรก็ตาม วิศวกรซอฟต์แวร์อาวุโสของ Google ได้ยืนยันว่าไม่ใช่ Microsoft หรือ OpenAI ที่เสิร์ชเอ็นจิ้นควรกลัว แต่เป็นโอเพ่นซอร์ส
Luke Sernau วิศวกรซอฟต์แวร์อาวุโสของ Google และผู้ก่อตั้ง Better Engineering ระบุในเอกสารว่าทั้ง Google และ OpenAI ไม่อยู่ในฐานะที่จะชนะการแข่งขันอาวุธ AI เขาแนะนำว่าการแข่งขันของ Google กับ OpenAI ทำให้บริษัทเสียสมาธิจากการพัฒนาอย่างรวดเร็วของเทคโนโลยีโอเพ่นซอร์ส: “ในขณะที่เรากำลังทะเลาะกัน มีกลุ่มที่สามกำลังรับประทานอาหารกลางวันของเราอย่างเงียบๆ ฉันกำลังพูดถึงโอเพ่นซอร์สอย่างแน่นอน”
คำแถลงของ Sernau เป็นส่วนหนึ่งของเอกสารที่เผยแพร่บนระบบอินเทอร์เน็ตที่ Google เมื่อต้นเดือนเมษายน ตั้งแต่นั้นมา มีการแชร์ข้อมูลนี้กับ Googler หลายพันครั้ง ตามรายงานที่อ้างถึงบุคคลที่คุ้นเคยกับเรื่องนี้ เมื่อวันที่ 4 พฤษภาคม เอกสารดังกล่าวได้รับการเผยแพร่โดยบริษัทที่ปรึกษา SemiAnalysis และหลังจากนั้นก็เผยแพร่ใน Silicon Valley
“เราไม่มีซอร์สลับ”
เมื่อพูดถึงโมเดลภาษาขนาดใหญ่ LLaMA ของ Meta ที่ดูเหมือนจะเป็นที่ชื่นชอบของชุมชนโอเพ่นซอร์ส แบบจำลองซึ่งเปิดตัวในเดือนกุมภาพันธ์ได้รับการอ้างสิทธิ์โดย Meta ว่ามีประสิทธิภาพดีกว่า GPT-3 ในหลาย ๆ งาน รวมถึงการประมวลผลภาษาธรรมชาติและการวิเคราะห์ความรู้สึก นอกจากนี้ยังปรับเปลี่ยนได้มากขึ้นด้วยน้ำหนักที่ปรับแต่งได้ซึ่งช่วยให้สามารถทำงานบนฮาร์ดแวร์ที่มีประสิทธิภาพน้อยกว่า ทำให้เป็นมิตรกับนักพัฒนามากขึ้น
แต่ LLaMA ไม่ใช่ LLM ที่เป็นมิตรต่อนักพัฒนาเพียงอย่างเดียว และ Sernau ก็ตระหนักในเรื่องนี้เป็นอย่างดี
“ในขณะที่โมเดลของเรายังคงมีข้อได้เปรียบเล็กน้อยในด้านคุณภาพ ช่องว่างก็ปิดลงอย่างรวดเร็วอย่างน่าอัศจรรย์ โมเดลโอเพ่นซอร์สนั้นเร็วกว่า ปรับแต่งได้มากกว่า เป็นส่วนตัวกว่า และมีความสามารถแบบปอนด์ต่อปอนด์มากกว่า พวกเขากำลังทำสิ่งต่าง ๆ ด้วยค่าพารามิเตอร์ $100 และ 13B ซึ่งเราต้องดิ้นรนด้วยราคา $10M และ 540B และพวกเขาจะทำเช่นนั้นในสัปดาห์ ไม่ใช่เดือน”
“เราไม่มีซอร์สลับ” Sernau เขียน “ความหวังที่ดีที่สุดของเราคือการเรียนรู้และร่วมมือกับสิ่งที่ผู้อื่นกำลังทำนอก Google”
เขายังแนะนำว่าลูกค้าจะไม่เต็มใจที่จะจ่ายเงินสำหรับรุ่นที่มีข้อจำกัด เมื่อมีรุ่นคุณภาพสูงอื่นๆ ให้ใช้ฟรี
“โมเดลขนาดยักษ์ทำให้เราช้าลง”
จำนวนพารามิเตอร์มักถูกขนานนามว่าเป็นปัจจัยหลักที่กำหนดความแม่นยำ แต่การฝึกอบรม LLM ด้วยพารามิเตอร์หลายแสนล้านรายการนั้นต้องการทรัพยากรการประมวลผลจำนวนมาก ซึ่งส่งผลให้มีค่าใช้จ่ายสูงและสิ้นเปลืองพลังงาน การใช้โมเดลดังกล่าวมีราคาแพงมากเช่นกัน
Sernau แนะนำว่าโมเดลขนาดใหญ่กำลังทำให้ Google ทำงานช้าลง: “ในระยะยาว โมเดลที่ดีที่สุดคือโมเดลที่สามารถทำซ้ำได้อย่างรวดเร็ว เราควรสร้างตัวแปรขนาดเล็กมากกว่าการคิดในภายหลัง ตอนนี้เรารู้แล้วว่าสิ่งใดเป็นไปได้ในระบอบพารามิเตอร์ <20B”
เพื่อให้เข้าใจตรงกัน วิศวกรได้อ้างถึง Vicuna-13B โดยกล่าวว่าโมเดลเหล่านี้ “กำลังทำสิ่งต่างๆ ด้วยราคา $100 และ 13B ซึ่งเราต้องดิ้นรนด้วยราคา $10M และ 540B” เขาเสริมว่าโมเดลขนาดใหญ่ไม่สามารถทำได้ในระยะยาวหากโมเดลขนาดเล็กซึ่งมีราคาถูกกว่าในการอัปเดตทำซ้ำได้เร็วกว่า
Sernau จบลงด้วยการผลักดันให้ Google ใช้นโยบายโอเพ่นซอร์สมากขึ้น
“ท้ายที่สุดแล้ว OpenAI ก็ไม่มีความสำคัญ พวกเขากำลังทำผิดพลาดแบบเดียวกับที่เราอยู่ในท่าทีเมื่อเทียบกับโอเพ่นซอร์ส และความสามารถในการรักษาความได้เปรียบนั้นจำเป็นต้องเป็นปัญหา ทางเลือกแบบโอเพ่นซอร์สสามารถและจะบดบังพวกมันในที่สุด เว้นแต่ว่าพวกมันจะเปลี่ยนจุดยืน ในแง่นี้ อย่างน้อยเราก็สามารถเริ่มดำเนินการได้” เขากล่าวสรุป