AI Paper: Inpaint Anything (IA): Segment Anything Meets Image inpainting.

เครื่องมือ AI อเนกประสงค์ที่รวมความสามารถในการลบทุกอย่าง เติมทุกอย่าง และแทนที่ทุกอย่าง – A Versatile AI Tool that Combines the Capabilities of Remove Anything, Fill Anything, and Replace Anything

Inpaint Anything (IA): เครื่องมือ AI อเนกประสงค์ที่รวมความสามารถในการลบทุกอย่าง เติมทุกอย่าง และแทนที่ทุกอย่าง

คุณเคยถ่ายภาพแล้วพบว่าบางสิ่งบางอย่างในฉากหลังทำลายภาพหรือไม่? หรือคุณทำลายส่วนหนึ่งของรูปภาพโดยไม่ได้ตั้งใจซึ่งตอนนี้คุณจำเป็นต้องกู้คืนอย่างเร่งด่วน การลงสีเป็นเทคนิคทั่วไปในการแก้ไขและฟื้นฟูภาพดิจิทัล และเครื่องมือซอฟต์แวร์ต่างๆ ได้ถูกสร้างขึ้นเพื่อทำให้กระบวนการรวดเร็วและมีประสิทธิภาพมากขึ้น โปรแกรมเหล่านี้จะวิเคราะห์พื้นที่โดยรอบของส่วนภาพที่เสียหายหรือขาดหายไป จากนั้นเติมช่องว่างอย่างชาญฉลาดเพื่อสร้างภาพที่สอดคล้องกัน การลงสีเติมส่วนที่ขาดหายไปของภาพที่ได้ผลลัพธ์ที่เรียบเนียนและดูเป็นธรรมชาติ
โดยรวมแล้ว การลงสีเป็นเทคนิคที่มีประสิทธิภาพที่สามารถฟื้นฟูและปรับปรุงภาพของเราในรูปแบบที่เคยจินตนาการไว้ ขณะนี้สามารถเข้าถึงได้มากขึ้นกว่าที่เคยเนื่องจากความพร้อมของความสามารถด้านคอมพิวเตอร์ขั้นสูงและแอปพลิเคชันกำลังขยายตัว นักวิจัยจาก University of Science and Technology of China และ Eastern Institute for Advanced Study ทำความพยายามครั้งแรกในการลงสีรูปภาพแบบไร้หน้ากาก และแนะนำกระบวนทัศน์ใหม่ของ “การคลิกและการเติม” ซึ่งพวกเขาเรียกว่า Inpaint Anything (IA)

เหตุใดจึงต้องใช้เครื่องมือใหม่อย่าง Inpaint Anything

ความพยายามในการวาดภาพที่ล้ำสมัย (SOTA) เช่น LaMa, Repaint, MAT, ZITS และอื่น ๆ ได้มีการพัฒนาอย่างมาก พวกเขาสามารถทาสีพื้นที่ขนาดมหึมา ทำงานได้ดีกับโครงสร้างซ้ำๆ ที่ซับซ้อน และสรุปได้ดีกับภาพที่มีความละเอียดสูง อย่างไรก็ตาม พวกเขามักจะต้องการคำอธิบายโดยละเอียดสำหรับแต่ละมาสก์ ซึ่งจำเป็นสำหรับการฝึกอบรมและการอนุมาน (inference)
• Segment Anything Model (SAM) จัดเตรียมพื้นฐานการแบ่งส่วนที่แข็งแกร่งโดยการสร้างมาสก์ออบเจกต์คุณภาพสูงจากพร้อมท์อินพุต เช่น จุดหรือกล่อง อาจใช้เพื่อสร้างมาสก์ที่มีรายละเอียดและแม่นยำสำหรับรายการทั้งหมดในรูปภาพ อย่างไรก็ตาม การคาดคะเนการแบ่งส่วนของหน้ากากยังไม่ได้รับการสำรวจอย่างเหมาะสม
• นอกจากนี้ อัลกอริธึมการลงสีในปัจจุบันสามารถแทนที่ขอบเขตที่ตัดออกด้วยบริบทเท่านั้น โมเดล AIGC ให้ทางเลือกใหม่สำหรับการสร้างสรรค์ ด้วยความสามารถในการตอบสนองความต้องการสูง และช่วยเหลือผู้คนในการสร้างวัสดุใหม่
• ด้วยเหตุนี้ เมื่อรวมประโยชน์ของ SAM, SOTA image inpainters และโมเดลเนื้อหาที่สร้างโดย AI (AIGC) พวกเขาจึงสร้างไปป์ไลน์ที่มีประสิทธิภาพและเป็นมิตรกับผู้ใช้สำหรับจัดการกับความท้าทายทั่วไปที่เกี่ยวข้องกับการทาสี เช่น การลบวัตถุ เนื้อหาใหม่ การเติมและการเปลี่ยนฉากหลัง
Inpaint Anything ทำอะไรได้บ้าง?
• Inpainters SAM + SOTA เพื่อกำจัดทุกสิ่ง: ผู้ใช้ IA อาจลบองค์ประกอบบางอย่างออกจากอินเทอร์เฟซอย่างรวดเร็วโดยคลิกที่องค์ประกอบเหล่านั้น นอกจากนี้ IA ยังอนุญาตให้ผู้ใช้กรอก “ช่องโหว่” ที่เป็นผลลัพธ์ด้วยข้อมูลเชิงบริบท พวกเขาใช้ความสามารถของ SAM และช่างทาสี SOTA บางคน เช่น LaMa เพื่อบรรลุเป้าหมายนี้ หลังจากปรับปรุงด้วยตนเองผ่านการกัดกร่อนและการขยาย การคาดคะเนของหน้ากากที่กำหนดโดย SAM จะทำหน้าที่เป็นอินพุตสำหรับแบบจำลองการพ่นสี โดยนำเสนอสัญญาณที่ชัดเจนสำหรับส่วนของวัตถุที่จะลบและเติม
• การเติมหรือแทนที่สิ่งใดโดยใช้โมเดล SAM + AIGC:
(1) หลังจากการลบรายการ IA ให้ผู้ใช้มีตัวเลือกในการเติม “ช่องโหว่” ที่เป็นผลลัพธ์ด้วยข้อมูลตามบริบทหรือ “เนื้อหาใหม่” โมเดลเนื้อหาที่สร้างโดย AI (AIGC) ที่มีประสิทธิภาพ เช่น Stable Diffusion ถูกนำมาใช้เพื่อสร้างรายการใหม่ผ่านทางข้อความแจ้ง ตัวอย่างเช่น ผู้ใช้อาจใช้คำว่า “สุนัข” หรือข้อความเช่น “สุนัขน่ารัก นั่งอยู่บนม้านั่ง” เพื่อสร้างสุนัขตัวใหม่เพื่อเติมเต็มช่องว่าง
(2) ผู้ใช้อาจใช้ IA เพื่อเก็บรายการที่คลิกไว้และแทนที่ฉากหลังที่เหลือด้วยฉากที่สร้างขึ้นใหม่ ขั้นตอนการเปลี่ยนฉาก IA นี้ทำให้คุณสามารถแจ้งโมเดล AIGC ได้หลายวิธี เช่น โดยการแสดงรูปภาพอื่นเป็นสัญลักษณ์แสดงภาพหรือคำบรรยายสั้นๆ เป็นข้อความ ตัวอย่างเช่น ผู้ใช้สามารถรักษาสุนัขไว้ในรูปถ่ายได้ในขณะที่เปลี่ยนการตั้งค่าในร่มเดิมด้วยการตั้งค่ากลางแจ้ง
ซอร์สโค้ดทั้งหมดสามารถพบได้บน GitHub พร้อมกับคำแนะนำในการใช้เครื่องมือ

view original*

Aneesh Tickoo เป็น consulting intern ที่ MarktechPost ปัจจุบันเขากำลังศึกษาระดับปริญญาตรีด้านวิทยาศาสตร์ข้อมูลและปัญญาประดิษฐ์จากสถาบันเทคโนโลยีแห่งอินเดีย (IIT), Bhilai