เครื่องมือที่ใช้ machine learning ใช้ฟีเจอร์ของสไตล์การเขียนเพื่อแยกความแตกต่างระหว่างผู้เขียนที่เป็นมนุษย์และ AI
Tool based on machine learning uses features of writing style to distinguish between human and AI authors.
ChatGPT detector เครื่องมือตรวจจับเอกสารที่สร้างโดย AI ด้วยความแม่นยำอย่างที่ไม่เคยมีมาก่อน
เครื่องมือ machine learning สามารถระบุได้อย่างง่ายดายเมื่อมีการเขียนเอกสารงานวิจัยด้านเคมีโดยใช้ ChatGPT chatbot ตามการศึกษาที่เผยแพร่เมื่อวันที่ 6 พฤศจิกายน ใน Cell Reports Physical Science เครื่องมือ specialized classifier ซึ่งมีประสิทธิภาพเหนือกว่าเครื่องตรวจจับปัญญาประดิษฐ์ (AI) ที่มีอยู่เดิม สามารถช่วยบรรณาธิการสิ่งพิมพ์ทางวิชาการ ในการระบุเอกสารงานวิจัยที่สร้างโดย AI text generators ที่ขับเคลื่อนด้วย generative AI
ด้วยการวิเคราะห์ข้อความ (text analysis) เครื่องตรวจจับทั่วไป สามารถนำไปใช้ได้กับทุกด้าน Heather Desaire ผู้เขียนร่วม นักเคมีจากมหาวิทยาลัยแคนซัสในลอว์เรนซ์กล่าว แต่ด้วยการสร้างเครื่องมือ ที่เน้นไปที่เอกสารงานวิจัยประเภทใดประเภทหนึ่ง เราพยายามหาความถูกต้องจริงๆ”
ผลการวิจัยชี้ให้เห็นว่าความพยายามในการพัฒนาเครื่องตรวจจับ AI สามารถเพิ่มประสิทธิภาพได้ด้วยการปรับแต่งซอฟต์แวร์ให้เหมาะกับการเขียนเฉพาะด้าน Desire กล่าว “หากคุณสามารถสร้างบางสิ่งได้อย่างรวดเร็วและง่ายดาย การสร้างบางสิ่งสำหรับโดเมนที่แตกต่างกันก็ไม่ใช่เรื่องยาก”
องค์ประกอบของสไตล์การเขียน
Desaire และเพื่อนร่วมงานของเธอได้บรรยายถึงเครื่องตรวจจับ ChatGPT ของพวกเขาเป็นครั้งแรกในเดือนมิถุนายน เมื่อพวกเขานำไปใช้กับบทความทางวิชาการ Perspective จากวารสาร Science เครื่องมือตรวจสอบจะตรวจสอบคุณลักษณะ 20 ประการของรูปแบบการเขียนโดยใช้ machine learning ซึ่งรวมถึงความแปรผันของความยาวประโยค ความถี่ของคำและเครื่องหมายวรรคตอน เพื่อพิจารณาว่า ใครเป็นผู้เขียนบทความงานวิจัย นักวิชาการผู้ทำวิจัย หรือ ChatGPT ผลการวิจัยแสดงให้เห็นว่า “คุณสามารถใช้คุณลักษณะชุดเล็กๆ เพื่อให้ได้ความแม่นยำในระดับสูง” Desaire กล่าว
ในการศึกษาล่าสุด เครื่องตรวจจับได้รับการฝึกอบรมในส่วนเบื้องต้น ของบทความทางวิชาการจาก chemistry journals 10 ฉบับที่ตีพิมพ์โดย American Chemical Society (ACS) ทีมงานเลือกบทนำ เนื่องจากการเขียนบทนำ ค่อนข้างง่ายสำหรับ ChatGPT หากโมเดล AI เข้าถึงเนื้อหาบทความทั้งหมด Desaire กล่าว นักวิจัยได้ฝึกเครื่องมือ ด้วยชุดข้อมูลบทนำที่ตีพิมพ์ 100 บทควฝ เพื่อใช้เป็นชุดข้อมูลที่เขียนโดยมนุษย์ จากนั้นจึงขอให้ ChatGPT-3.5 เขียนบทนำ 200 บท ในรูปแบบวารสาร ACS สำหรับ 100 รายการนั้น จะมีการจัดเตรียมชื่อบทความไว้ในเครื่องมือ และสำหรับอีก 100 รายการ จะได้รับบทคัดย่อ
เมื่อทดสอบกับบทนำที่เขียนโดยผู้คนและที่สร้างโดย AI จากวารสารเดียวกัน เครื่องมือจะระบุส่วนที่เขียนโดย ChatGPT-3.5 ตามชื่อเรื่องที่มีความแม่นยำ 100% สำหรับการแนะนำที่สร้างโดย ChatGPT โดยอิงตามบทคัดย่อ ความแม่นยำลดลงเล็กน้อยที่ 98% เครื่องมือนี้ใช้งานได้ดีกับข้อความที่เขียนโดย ChatGPT-4 ซึ่งเป็นแชทบอตเวอร์ชันล่าสุด ในทางตรงกันข้าม เครื่องมือตรวจจับ AI ZeroGPT ระบุการแนะนำที่เขียนโดย AI ด้วยความแม่นยำเพียงประมาณ 35–65% ขึ้นอยู่กับเวอร์ชันของ ChatGPT ที่ใช้ และไม่ว่าการแนะนำนั้นถูกสร้างขึ้นจากชื่อเรื่องหรือบทคัดย่อของรายงาน เครื่องมือแยกประเภทข้อความที่ผลิตโดย OpenAI ซึ่งเป็นผู้สร้าง ChatGPT ก็ทำงานได้ไม่ดีเช่นกัน โดยสามารถระบุคำนำที่เขียนโดย AI ด้วยความแม่นยำประมาณ 10–55%
ChatGPT Catcher ใหม่ยังทำงานได้ดีกับการเขียนบทนำจากวารสารที่ไม่ได้รับการฝึกอบรม และจับ AI text ที่สร้างขึ้นจาก prompts ต่างๆ รวมถึงข้อความที่มีจุดมุ่งหมายเพื่อสร้างความสับสนให้กับเครื่องตรวจจับ AI อย่างไรก็ตาม ระบบนี้มีความเชี่ยวชาญสูงสำหรับบทความในวารสารวิทยาศาสตร์ เมื่อนำเสนอด้วยบทความจริงจากหนังสือพิมพ์มหาวิทยาลัย ก็ไม่ถือว่าบทความเหล่านั้นเขียนโดยมนุษย์
ปัญหาที่ขยายกว้างขึ้น
สิ่งที่ผู้เขียนกำลังทำคือ “สิ่งที่น่าสนใจ” Debora Weber-Wulff นักวิทยาศาสตร์คอมพิวเตอร์ผู้ศึกษาเรื่องการลอกเลียนแบบทางวิชาการที่ HTW Berlin University of Applied Sciences กล่าว เครื่องมือที่มีอยู่จำนวนมากพยายามระบุผู้แต่งโดยการค้นหารูปแบบข้อความคาดเดาของการเขียนที่สร้างโดย AI แทนที่จะดูที่คุณลักษณะของสไตล์การเขียน เธอกล่าว “ฉันไม่เคยคิดจะใช้ Stylometrics บน ChatGPT”
แต่ Weber-Wulff ชี้ให้เห็นว่ายังมีปัญหาอื่นๆ ที่ขับเคลื่อนการใช้ ChatGPT ในแวดวงวิชาการ นักวิจัยหลายคนตกอยู่ภายใต้แรงกดดันที่จะต้องปั่นรายงานอย่างรวดเร็ว ไม่เช่นนั้นพวกเขาอาจไม่เห็นว่ากระบวนการเขียนรายงานเป็นส่วนสำคัญของวิทยาศาสตร์ เครื่องมือตรวจจับ AI จะไม่แก้ไขปัญหาเหล่านี้ และไม่ควรมองว่าเป็น “โซลูชันซอฟต์แวร์มหัศจรรย์สำหรับแก้ปัญหาสังคม”