Author: Admin oneman

พงษ์ระพี เตชพาหพงษ์ พูดถึง ChatGPT เราก็จะนึกถึง Sam Altman ที่เป็น CEO แต่จริงๆแล้วมีตัวละครอีกตัวที่สำคัญมาก คนนั้นก็คือ Ilya Sutskever แกเกิดรัสเซีย ไปโตที่แคนาดาแล้วย้ายมาทำงานที่อเมริกา คนนี้คือ “มือขวา” แซม กินตำแหน่ง Chief Scientist พูดง่ายๆก็คือ คนที่สร้าง ChatGPT ขึ้นมานั่นเอง Ilya เพิ่งให้สัมภาษณ์ The Verge ประเด็นเรื่อง Open Source ของ ChatGPT ที่มันเป็นประเด็นเพราะแรกเริ่มเดิมทีนั้นตัว Sam Altman ประกาศตั้งแต่โปรเจกต์เริ่มต้นว่า AI ที่จะสร้างขึ้นมานี้ก็เพื่อมวลมนุษยชาติ ไม่ได้ต้องการสร้างเพื่อนายทุนคนใดคนหนึ่ง ดังนั้นองค์กรก็เลยเป็นแบบ non-profit และโค้ดที่สร้างขึ้นมาก็จะเป็น Open Source เจตจำนงดูยิ่งใหญ่และติส์มาก สำหรับชื่อบริษัทก็เลยใช้ชื่อว่า OpenAI ซึ่งตรงนี้ Elon Musk เคลมว่าเขาเองเป็นคนตั้งชื่อให้ และเป็นนายทุนคนแรกที่ลงเงินไปในโปรเจกต์นี้ แต่หลังจากทำมาหลายปี […]

พงษ์ระพี เตชพาหพงษ์ ช่วงนี้ OpenAI อัปเกรดและปล่อยคุณสมบัติเด็ดๆของ ChatGPT ออกมารัวๆ แค่เปิดตัว ChatGPT 4 คนก็ฮือฮามากแล้ว หลังจากนั้นไม่นานก็ปล่อยคุณสมบัติใหม่ที่เรียกว่า Plugin อีก youtuber หลายคนบอกว่ามันเป็น App Store for ChatGPT บางคนบอกว่ามันเป็นแพลทฟอร์ม และเลยไปถึงมันเป็น game changer เลยทีเดียว Plugin ที่ OpenAI ปล่อยออกมานั้นมีทั้งหมด 4 ตัวด้วยกัน เด็ดๆทั้งนั้น ตอนนี้มาดูตัวแรกก่อน นั่นก็คือ Browsing เรารู้กันอยู่ว่า ChatGPT นั้นข้อมูลล่าสุดที่ถูกเทรนในระบบคือ ตุลาคม 2021 ประเด็นคือ ถ้าถามข้อมูลที่ใหม่กว่านั้น มันก็ตอบไม่ได้ Browsing Plugin นี่แหละเป็นคำตอบ เพราะแทนที่ระบบจะไปเทรนข้อมูลอัปเดทไปเรื่อยๆ กลับใช้วิธีการให้ ChatGPT ไปบราวซ์ค้นหาข้อมูลในเว็บที่เกี่ยวข้องแทน ซึ่งรวมถึงข้อมูลแบบเรียลไทม์ด้วย เรียกว่า Browsing Plugin เป็นแนวคิดในการแก้ปัญหาข้อมูลไม่อัปเดทแบบเนียนๆ […]

พงษ์ระพี เตชพาหพงษ์ แกะรอย GPT ตอน 5 สามสี่ตอนที่ผ่านมา เราเล่ากันถึงความหมายที่ซ่อนอยู่ระหว่างตัวอักษรของ ChatGPT ไปละ ตอนนี้เรามาเดินทางกันต่อ ถ้าลองไปถามหลายๆคนว่า ChatGPT คืออะไร? ผมเชื่อว่าคำตอบออกมาคงจะหลากหลาย อาจจะเริ่มตั้งแต่ มันคือเครื่องมือมหัศจรรย์ กูรูผู้รู้ทุกอย่าง เอไอที่จะเปลี่ยนแปลงโลก ไปจนถึงความหมายลึกๆอย่าง Large Language Model หรือ Machine Learning สำหรับผมแล้วเวลาเล่าเรื่องนี้ให้คนอื่นฟัง ผมมักจะหยิบยกเอานิยามที่แตกต่างกันไปไปเล่าให้เหมาะสมกับคนฟัง แต่ถ้าเขามีความสนใจและมีเวลามากหน่อย ผมจะเล่าเริ่มจากประโยคภาษาอังกฤษง่ายๆว่า ChatGPT=predicting the probability distribution of training data แล้วค่อยๆถอดรหัสทีละคำว่ามันหมายถึงอะไร และถ้าสีหน้าแววตาของผู้ฟังดูลุกวาว ผมก็จะค่อยๆดำดิ่งลงลึกในรายละเอียดไปจนถึงสูตร Math ที่รองรับ ว่ามันประกอบร่างและทำงานกันอย่างไร ซึ่งตรงนี้น่าสนใจ ถ้าพื้นฐานเรา “เข้าใจได้แน่นเพียงพอ” เราจะเข้าใจศักยภาพและข้อจำกัดของมันจากประโยคเดียวที่อธิบายไป และถ้าคนฟังมีพื้น Math มาพอสมควร เขาก็สามารถต่อยอดจินตนาการออกไปได้อีก อาจจะไปจนถึงการสร้างสรรค์อะไรใหม่ๆออกมาก็เป็นได้ และนี่คงเป็นสิ่งที่บิลเกตส์เห็นและได้เขียนถึงความสำคัญของ Math ถึงกับเคลมประเด็นว่าช่วย […]

พงษ์ระพี เตชพาหพงษ์ บทความก่อนหน้านี้ผมได้แกะความหมายและความเกี่ยวโยงของ GPT ไปแล้วสองตัว และมาถึงตัวสุดท้ายคือ T (Transformer) ถ้าคุณเอาคำนี้ไปค้น สิ่งแรกที่จะเห็นก็คือ “หม้อแปลงไฟฟ้า” ถัดมาน่าจะเป็น “หุ่นยนต์” ในหนังเรื่อง Transformer แต่จริงๆแล้ว Transformer ในที่นี้คือชื่อสถาปัตยกรรมตัวใหม่ที่อยู่ในเปเปอร์ Attention is all you need และจะสื่อถึง “การเปลี่ยนผ่านจากจุดหนึ่งไปอีกจุดหนึ่ง” (transforms an input sequence into an output sequence) โดยใช้แมกคานิซึมตัวใหม่ที่เรียกว่า “Self-Attention” … ซึ่งเรื่องนี้มีความลึก ไว้มีโอกาสจะมาเล่าให้อ่านกันอีกทีนะครับ หลายคนบอกว่าจริงๆชื่อ Transformer นี่ คนเขียนเปเปอร์ก็เอามาจากหนังนี่แหละ แบบจะได้ดูเท่ห์และสื่อความกับเรื่องที่ทำด้วย ว่าไปแล้วก็ฟังขึ้นเหมือนกันนะ และบางคนก็บอกต่อไปอีกว่า มันลึกไปกว่านั้นอีก เพราะคำว่า “Trans” นั้น ในอเมริกา หมายถึงอีกกลุ่มหนึ่ง ที่คนในแวดวงเทคเอง ก็มีอยู่เยอะ เอาเป็นว่าอยากจะเชื่อแบบไหนก็ตามสะดวกเลยนะครับ ถ้าคุณชอบบทความสั้นๆ […]

พงษ์ระพี เตชพาหพงษ์ ตอนที่แล้วผมแกะรอยเล่าถึง ความหมายของ G ตัวแรกในคำย่อ GPT ไปแล้ว ทีนี้มาดูตัวที่สองกันนั่นก็คือ P ซึ่งเป็นอักษรย่อจากคำว่า Pre-trained ตรงนี้แหละน่าสนใจ เรามาแยกเป็น subword ก่อนนะ เริ่มที่คำ trained ใครอย่าไปนึกว่ามันคือ “รถไฟ” เชียวนะ ไม่ใช่ๆ มันก็คือ “การเทรน” ที่เป็นคำทับศัพท์ในภาษาไทยนั่นแหละ และในรูปต่อด้วย “ed” ก็แปลว่า “มันถูกเทรนมาเรียบร้อยแล้ว” คำถามถัดมา แล้วการเทรนคืออะไร โอว ตรงนี้ถ้าเล่าละเอียด ก็คงยาวมาก เอาเป็นว่า ระบบจะเอาข้อมูลข้อความที่ไปกวาดมาทั้งหนังสือ ในเน็ตนับพันล้านคำมาแปลงเป็นตัวเลขในหน้าตาของเมตริกซ์ (ตรงนี้ต้องใช้ความรู้คณิตศาสตร์ที่เรียกว่า Algebra ช่วย ใครเรียนมอปลายสายวิทย์ก็อาจจะคุ้นเคยดีนะ แต่จะลืมไปแล้วหรือเปล่าก็มาว่ากันอีกที) จากนั้นก็ถูกนำไปประมวลผลตามสถาปัตยกรรมหลายซับหลายซ้อน จนได้เมตริกซ์ที่ตกผลึกมาเก็บไว้ ตรงนี้แหละคือ “การเทรนดาต้าเซต” เรื่องที่มหัศจรรย์เกินจินตนาการก็คือ ไอ้ตัวเลขเหล่านี้ มันทำให้ระบบเข้าใจภาษา เข้าใจความหมาย ความต้องการของผู้ใช้ และสามารถไปดึงคำตอบจากสิ่งที่เทรนมาได้ คิดแล้วมันน่าอัศจรรย์ใจจริงๆ เอาไว้มีโอกาสจะมาเล่าเชิงเทคนิคพวกนี้ให้ฟังอีกทีนะครับ และเมื่อได้ข้อมูลที่ผ่านการเทรนมาแล้ว […]

พงษ์ระพี เตชพาหพงษ์ จากตอนแรก ผมเล่าถึงเส้นทางที่ OpenAI ตาลุกวาวกับเปเปอร์ใหม่ Attention is all you need แล้วเอามาทำเป็น ChatGPT โดยดึงเอาฝั่ง Decoder มาโมต่อ ซึ่งฝั่งนี้เรียกว่า GPT ส่วนฝั่ง Encoder นั้นเรียกว่า BERT ส่วนที่น่าสนใจฝั่ง GPT ที่พวกเราเริ่มคุ้นกับคำย่อสามตัวอักษรนี้ หลายคนอาจจะผ่านตากับคำเต็มไปบ้าง โดยเฉพาะคำแรก G ซึ่งมาจากคำว่า Generative ยิ่งไปเจอกับคำว่า Generative AI ยิ่งคุ้นเข้าไปใหญ่ แต่อาจจะมีหลายคนสงสัยว่า เอ๊ะ! ทำไมใช้คำว่า Generative ทำไมไม่ใช้คำว่า General ไปเลย จะได้สื่อให้ชัดว่า “สารพัดอย่าง” เช่นเดียวกับสำนวน “General เบ๊” คำตอบคือ “ไม่ได้เกี่ยวกันครับ” Generative คำนี้หมายถึง “การสร้างใหม่” และถ้าจะพูดให้ลึกไปกว่านั้น คำนี้มันเป็นคำจากคณิตศาสตร์สาขาสถิติต่างหาก โดยโยงไปถึง “Generative […]

บิ๊ก พงษ์ระพี เตชพาหพงษ์ / pongrapee@gmail.com วันนี้ผมจะมาเล่าเกร็ดเล็กเกร็ดน้อยของประวัติที่มาการเกิดของ ChatGPT นะครับ โลกของ Generative AI เดินทางมาจุดเปลี่ยนใหญ่อีกครั้งเมื่องานเปเปอร์ที่ชื่อว่า Attention is all you need ของนาย Vaswani ตีพิมพ์ออกมา (pdf) ในปี 2017 โดยผมเข้าใจว่าความตั้งใจแรกของ Vaswani คือการแก้ปัญหาของโมเดล RNN ที่เทรนได้ช้าและลืมง่าย โดยนำเสนอ Mechanism ตัวใหม่ที่ชื่อว่า Self Attention แล้วก็ประกอบร่างส่วนต่างๆเป็นสถาปัตยกรรมใหม่ที่เรียกว่า “Transformer” ทั้งหมดนี้เป็นการพัฒนาเรื่องของ NLP (Natural Language Processing) พูดง่ายๆคือทำให้พวกงานภาษาทำงานได้ดีขึ้นนั่นเอง (พวกแปลภาษา พวกสรุปความ ฯลฯ) ผมคิดว่า Vaswani คงอึ้ง เมื่อสิ่งที่เขาคิดมันได้ถูกต่อยอดและเดินทางมาถึงขนาดนี้ ว่าไปแล้วคงไม่ต่างจากซาโตชิ นากาโมโตะที่คิดบิทคอยน์เพื่อเป็น electronic cash แต่มันก็ได้เดินทางไปไกลมากกว่านั้นเยอะ สถาปัตยกรรม Transformer […]