Article

พงษ์ระพี เตชพาหพงษ์ แกะรอย GPT ตอน 5 สามสี่ตอนที่ผ่านมา เราเล่ากันถึงความหมายที่ซ่อนอยู่ระหว่างตัวอักษรของ ChatGPT ไปละ ตอนนี้เรามาเดินทางกันต่อ ถ้าลองไปถามหลายๆคนว่า ChatGPT คืออะไร? ผมเชื่อว่าคำตอบออกมาคงจะหลากหลาย อาจจะเริ่มตั้งแต่ มันคือเครื่องมือมหัศจรรย์ กูรูผู้รู้ทุกอย่าง เอไอที่จะเปลี่ยนแปลงโลก ไปจนถึงความหมายลึกๆอย่าง Large Language Model หรือ Machine Learning สำหรับผมแล้วเวลาเล่าเรื่องนี้ให้คนอื่นฟัง ผมมักจะหยิบยกเอานิยามที่แตกต่างกันไปไปเล่าให้เหมาะสมกับคนฟัง แต่ถ้าเขามีความสนใจและมีเวลามากหน่อย ผมจะเล่าเริ่มจากประโยคภาษาอังกฤษง่ายๆว่า ChatGPT=predicting the probability distribution of training data แล้วค่อยๆถอดรหัสทีละคำว่ามันหมายถึงอะไร และถ้าสีหน้าแววตาของผู้ฟังดูลุกวาว ผมก็จะค่อยๆดำดิ่งลงลึกในรายละเอียดไปจนถึงสูตร Math ที่รองรับ ว่ามันประกอบร่างและทำงานกันอย่างไร ซึ่งตรงนี้น่าสนใจ ถ้าพื้นฐานเรา “เข้าใจได้แน่นเพียงพอ” เราจะเข้าใจศักยภาพและข้อจำกัดของมันจากประโยคเดียวที่อธิบายไป และถ้าคนฟังมีพื้น Math มาพอสมควร เขาก็สามารถต่อยอดจินตนาการออกไปได้อีก อาจจะไปจนถึงการสร้างสรรค์อะไรใหม่ๆออกมาก็เป็นได้ และนี่คงเป็นสิ่งที่บิลเกตส์เห็นและได้เขียนถึงความสำคัญของ Math ถึงกับเคลมประเด็นว่าช่วย […]

พงษ์ระพี เตชพาหพงษ์ บทความก่อนหน้านี้ผมได้แกะความหมายและความเกี่ยวโยงของ GPT ไปแล้วสองตัว และมาถึงตัวสุดท้ายคือ T (Transformer) ถ้าคุณเอาคำนี้ไปค้น สิ่งแรกที่จะเห็นก็คือ “หม้อแปลงไฟฟ้า” ถัดมาน่าจะเป็น “หุ่นยนต์” ในหนังเรื่อง Transformer แต่จริงๆแล้ว Transformer ในที่นี้คือชื่อสถาปัตยกรรมตัวใหม่ที่อยู่ในเปเปอร์ Attention is all you need และจะสื่อถึง “การเปลี่ยนผ่านจากจุดหนึ่งไปอีกจุดหนึ่ง” (transforms an input sequence into an output sequence) โดยใช้แมกคานิซึมตัวใหม่ที่เรียกว่า “Self-Attention” … ซึ่งเรื่องนี้มีความลึก ไว้มีโอกาสจะมาเล่าให้อ่านกันอีกทีนะครับ หลายคนบอกว่าจริงๆชื่อ Transformer นี่ คนเขียนเปเปอร์ก็เอามาจากหนังนี่แหละ แบบจะได้ดูเท่ห์และสื่อความกับเรื่องที่ทำด้วย ว่าไปแล้วก็ฟังขึ้นเหมือนกันนะ และบางคนก็บอกต่อไปอีกว่า มันลึกไปกว่านั้นอีก เพราะคำว่า “Trans” นั้น ในอเมริกา หมายถึงอีกกลุ่มหนึ่ง ที่คนในแวดวงเทคเอง ก็มีอยู่เยอะ เอาเป็นว่าอยากจะเชื่อแบบไหนก็ตามสะดวกเลยนะครับ ถ้าคุณชอบบทความสั้นๆ […]

พงษ์ระพี เตชพาหพงษ์ ตอนที่แล้วผมแกะรอยเล่าถึง ความหมายของ G ตัวแรกในคำย่อ GPT ไปแล้ว ทีนี้มาดูตัวที่สองกันนั่นก็คือ P ซึ่งเป็นอักษรย่อจากคำว่า Pre-trained ตรงนี้แหละน่าสนใจ เรามาแยกเป็น subword ก่อนนะ เริ่มที่คำ trained ใครอย่าไปนึกว่ามันคือ “รถไฟ” เชียวนะ ไม่ใช่ๆ มันก็คือ “การเทรน” ที่เป็นคำทับศัพท์ในภาษาไทยนั่นแหละ และในรูปต่อด้วย “ed” ก็แปลว่า “มันถูกเทรนมาเรียบร้อยแล้ว” คำถามถัดมา แล้วการเทรนคืออะไร โอว ตรงนี้ถ้าเล่าละเอียด ก็คงยาวมาก เอาเป็นว่า ระบบจะเอาข้อมูลข้อความที่ไปกวาดมาทั้งหนังสือ ในเน็ตนับพันล้านคำมาแปลงเป็นตัวเลขในหน้าตาของเมตริกซ์ (ตรงนี้ต้องใช้ความรู้คณิตศาสตร์ที่เรียกว่า Algebra ช่วย ใครเรียนมอปลายสายวิทย์ก็อาจจะคุ้นเคยดีนะ แต่จะลืมไปแล้วหรือเปล่าก็มาว่ากันอีกที) จากนั้นก็ถูกนำไปประมวลผลตามสถาปัตยกรรมหลายซับหลายซ้อน จนได้เมตริกซ์ที่ตกผลึกมาเก็บไว้ ตรงนี้แหละคือ “การเทรนดาต้าเซต” เรื่องที่มหัศจรรย์เกินจินตนาการก็คือ ไอ้ตัวเลขเหล่านี้ มันทำให้ระบบเข้าใจภาษา เข้าใจความหมาย ความต้องการของผู้ใช้ และสามารถไปดึงคำตอบจากสิ่งที่เทรนมาได้ คิดแล้วมันน่าอัศจรรย์ใจจริงๆ เอาไว้มีโอกาสจะมาเล่าเชิงเทคนิคพวกนี้ให้ฟังอีกทีนะครับ และเมื่อได้ข้อมูลที่ผ่านการเทรนมาแล้ว […]

พงษ์ระพี เตชพาหพงษ์ จากตอนแรก ผมเล่าถึงเส้นทางที่ OpenAI ตาลุกวาวกับเปเปอร์ใหม่ Attention is all you need แล้วเอามาทำเป็น ChatGPT โดยดึงเอาฝั่ง Decoder มาโมต่อ ซึ่งฝั่งนี้เรียกว่า GPT ส่วนฝั่ง Encoder นั้นเรียกว่า BERT ส่วนที่น่าสนใจฝั่ง GPT ที่พวกเราเริ่มคุ้นกับคำย่อสามตัวอักษรนี้ หลายคนอาจจะผ่านตากับคำเต็มไปบ้าง โดยเฉพาะคำแรก G ซึ่งมาจากคำว่า Generative ยิ่งไปเจอกับคำว่า Generative AI ยิ่งคุ้นเข้าไปใหญ่ แต่อาจจะมีหลายคนสงสัยว่า เอ๊ะ! ทำไมใช้คำว่า Generative ทำไมไม่ใช้คำว่า General ไปเลย จะได้สื่อให้ชัดว่า “สารพัดอย่าง” เช่นเดียวกับสำนวน “General เบ๊” คำตอบคือ “ไม่ได้เกี่ยวกันครับ” Generative คำนี้หมายถึง “การสร้างใหม่” และถ้าจะพูดให้ลึกไปกว่านั้น คำนี้มันเป็นคำจากคณิตศาสตร์สาขาสถิติต่างหาก โดยโยงไปถึง “Generative […]

บิ๊ก พงษ์ระพี เตชพาหพงษ์ / pongrapee@gmail.com วันนี้ผมจะมาเล่าเกร็ดเล็กเกร็ดน้อยของประวัติที่มาการเกิดของ ChatGPT นะครับ โลกของ Generative AI เดินทางมาจุดเปลี่ยนใหญ่อีกครั้งเมื่องานเปเปอร์ที่ชื่อว่า Attention is all you need ของนาย Vaswani ตีพิมพ์ออกมา (pdf) ในปี 2017 โดยผมเข้าใจว่าความตั้งใจแรกของ Vaswani คือการแก้ปัญหาของโมเดล RNN ที่เทรนได้ช้าและลืมง่าย โดยนำเสนอ Mechanism ตัวใหม่ที่ชื่อว่า Self Attention แล้วก็ประกอบร่างส่วนต่างๆเป็นสถาปัตยกรรมใหม่ที่เรียกว่า “Transformer” ทั้งหมดนี้เป็นการพัฒนาเรื่องของ NLP (Natural Language Processing) พูดง่ายๆคือทำให้พวกงานภาษาทำงานได้ดีขึ้นนั่นเอง (พวกแปลภาษา พวกสรุปความ ฯลฯ) ผมคิดว่า Vaswani คงอึ้ง เมื่อสิ่งที่เขาคิดมันได้ถูกต่อยอดและเดินทางมาถึงขนาดนี้ ว่าไปแล้วคงไม่ต่างจากซาโตชิ นากาโมโตะที่คิดบิทคอยน์เพื่อเป็น electronic cash แต่มันก็ได้เดินทางไปไกลมากกว่านั้นเยอะ สถาปัตยกรรม Transformer […]