This AI Project Brings Doodles to Life with Animation and Releases Annotated Dataset of Amateur Drawings.
โครงการ AI นี้ ทำให้ Doodle มีชีวิตด้วยแอนิเมชันและเผยแพร่ชุดข้อมูลที่มีคำอธิบายประกอบของนักวาดมือสมัครเล่น
เด็ก ๆ ชอบที่จะวาดและแสดงความคิดและไอเดียของพวกเขาด้วยความช่วยเหลือของดูเดิลและรูปภาพ นี่คือวิธีที่ผู้คนตั้งแต่อายุยังน้อยแสดงอารมณ์ร่วมกับความคิดสร้างสรรค์ เด็ก ๆ ใส่ความคิดที่เป็นนามธรรมลงในภาพวาดซึ่งช่วยในการพัฒนาความรู้ความเข้าใจของพวกเขา สาขาปัญญาประดิษฐ์มีความก้าวหน้าอย่างเห็นได้ชัดหลังจากความนิยมที่เพิ่มขึ้นของโมเดลภาษาขนาดใหญ่ เช่น ChatGPT และ DALL-E ด้วยรายงานการวิจัย และโมเดลใหม่ที่เผยแพร่เกือบทุกวัน ตอนนี้โมเดล AI แบบใหม่ที่สามารถแปลง doodle ให้เป็นแอนิเมชันได้ก็มาถึงแล้ว
โมเดล AI แบบดั้งเดิมซึ่งได้รับการฝึกฝนเกี่ยวกับรูปภาพของวัตถุในชีวิตจริง มักพบว่าเป็นการยากที่จะตรวจจับและจดจำภาพวาดนามธรรมหรือภาพวาดที่ไม่สมจริง เพื่อเอาชนะข้อจำกัดของโมเดล AI เหล่านี้ ทีมนักวิจัยจาก Meta ได้พัฒนาตัวอย่างการวิจัยระบบ AI ที่สามารถทำให้งานศิลปะมีชีวิตขึ้นมาได้ผ่านแอนิเมชั่น
ภาพดูเดิลจะถูกแปลงเป็นแอนิเมชั่นในสี่ขั้นตอนหลัก ในขั้นตอนแรก ระบบจะตรวจจับร่างมนุษย์ในรูปถ่ายของภาพวาด ในขั้นตอนที่สอง ระบบจะใช้มาสก์การแบ่งส่วนเพื่อแยกรูปภาพออกจากพื้นหลัง ขั้นตอนที่สามประกอบด้วยระบบที่ประเมินท่าทางและการวางโครงของหุ่น ทำให้สามารถเคลื่อนไหวได้ สุดท้าย ในขั้นตอนที่สี่ซึ่งเป็นขั้นตอนสุดท้าย ระบบจะทำให้ร่างเคลื่อนไหวโดยใช้ข้อมูลการจับการเคลื่อนไหว ซึ่งกำหนดเป้าหมายใหม่ไปที่ตัวละครในลักษณะที่ไม่เหมือนใครและน่าดึงดูดใจ
ทีมงานได้พัฒนาชุดข้อมูลของภาพวาดมือสมัครเล่นที่มีคำอธิบายประกอบจำนวน 178,166 รายการ ชุดข้อมูลภาพนามธรรมนี้สามารถช่วยนักวิจัยและผู้สร้าง AI คนอื่นๆ สร้างสรรค์สิ่งใหม่ๆ ต่อไปได้ สำหรับการสร้างชุดข้อมูลนี้ นักวิจัยได้เปิดตัวการสาธิตภาพวาดเคลื่อนไหวในปี 2564 และเชิญชวนให้ผู้คนร่วมส่งภาพวาดของพวกเขาไปยังชุดข้อมูล ผู้คนสามารถอัปโหลดภาพ ตรวจสอบหรือแก้ไขการคาดคะเนคำอธิบายประกอบ และรับแอนิเมชันสั้นๆ ของตัวละครที่เหมือนมนุษย์ภายในภาพวาดด้วยความช่วยเหลือของการสาธิตบนเบราว์เซอร์ มีผู้เข้าชมเว็บไซต์มากกว่า 3.2 ล้านคนทั่วโลก และอัปโหลดภาพ 6.7 ล้านภาพ ภาพที่ผู้คนเลือกให้แบ่งปันกับทีมได้รับการกรองโดยผู้ตรวจสอบที่เป็นบุคคล
นักวิจัยยังใช้การป้องกันความเป็นส่วนตัวเพื่อให้แน่ใจว่าผู้เข้าร่วมไม่เปิดเผยตัวตนและคุณภาพของชุดข้อมูล ทีมงานได้แชร์โค้ดแอนิเมชันสำหรับโมเดลและน้ำหนักโมเดลที่ปรับแต่งอย่างละเอียดสำหรับการตรวจจับรูปร่างมนุษย์ที่วาดและการประเมินท่าทาง ซึ่งสามารถเข้าถึงได้ที่นี่
ทุกคนสามารถใช้รหัสโอเพ่นซอร์สและชุดข้อมูลเพื่อขยายวิธีการวิเคราะห์และเพิ่มภาพวาดมือสมัครเล่น สิ่งนี้สามารถปลดล็อกรูปแบบใหม่ของการเล่าเรื่องและการเข้าถึงงานศิลปะได้มากขึ้น ระบบนี้อาจมีแอปพลิเคชันในการพัฒนาแอนิเมชั่นและเกม รวมถึงในสภาพแวดล้อมทางการศึกษา ซึ่งสามารถใช้เพื่อดึงดูดเด็ก ๆ ในกิจกรรมสร้างสรรค์ ระบบนี้รวดเร็ว ใช้งานง่าย และแข็งแกร่ง และเป็นการพัฒนาที่ยอดเยี่ยมในด้าน AI เพื่อตอบสนองความคิดสร้างสรรค์ของมนุษย์
Tanya Malhotra เป็นนักศึกษาระดับปริญญาตรีปีสุดท้ายจาก University of Petroleum & Energy Studies, Dehradun ศึกษาต่อ BTech ในสาขาวิศวกรรมวิทยาการคอมพิวเตอร์ด้วยความเชี่ยวชาญด้านปัญญาประดิษฐ์และการเรียนรู้ของเครื่อง เธอเป็นผู้ที่คลั่งไคล้วิทยาศาสตร์ข้อมูล มีความคิดเชิงวิเคราะห์และวิจารณญาณที่ดี พร้อมกับความสนใจอย่างแรงกล้าในการแสวงหาทักษะใหม่ๆ นำกลุ่ม และจัดการงานในลักษณะที่มีระเบียบ