The illusion of explainability in machine learning models.

ความสำคัญของความสามารถในการอธิบายในแบบจำลอง AI นั้นถูกตั้งคำถาม เนื่องจากบางคนเชื่อว่าแบบจำลองที่แม่นยำกว่านั้นดีกว่าการมีคำอธิบาย  ความจริงมาจากการวัดความถูกต้องซึ่งบ่งชี้ว่าระบบสามารถไว้วางใจได้มากน้อยเพียงใด  แทนที่จะใช้คำอธิบาย เมตริกที่เรียบง่ายและเป็นมิตรกับธุรกิจสามารถจำกัดความจำเป็นในการอธิบายโมเดลและนำไปสู่การตัดสินใจที่ดีขึ้นสำหรับผู้ใช้ปลายทาง AI  ในท้ายที่สุด เมื่อความแม่นยำของโมเดลสูงกว่าพื้นฐานของมนุษย์ ความสามารถในการอธิบายจะมีความเกี่ยวข้องน้อยลง

The importance of explainability in AI models is questioned as some believe that a more accurate model is better than having an explanation. Truthfulness comes from accuracy measures, which indicate how much reliance can be placed on the system. Instead of explanations, simplified, business-friendly metrics can limit the need for model explanations and lead to better decision-making for AI end users. Ultimately, when the model’s accuracy beats the human baseline, explainability will become less relevant.

ภาพลวงตาของความสามารถในการอธิบายในโมเดลแมชชีนเลิร์นนิง 

ในรายงานระดับโลกที่ออกโดย S&P ระบุว่า 95% ขององค์กรในอุตสาหกรรมต่างๆ กล่าวว่าการนำปัญญาประดิษฐ์ (AI) มาใช้เป็นส่วนสำคัญของเส้นทางการเปลี่ยนแปลงทางดิจิทัล 

เราเห็นความสนใจที่เพิ่มขึ้นในการนำ AI มาใช้ด้วยเหตุผลหลายประการ รวมถึงการลดต้นทุน เพิ่มยอดขาย และปรับปรุงประสิทธิภาพการทำงานของพนักงาน ในเวลาเดียวกัน หากคุณติดตามข่าวสารเกี่ยวกับ AI 

ในปัจจุบัน คุณจะรู้ว่าเรายังเห็นการมุ่งเน้นอย่างมากในการอธิบายว่าโมเดล AI ทำงานอย่างไร และเหตุใดการอธิบายได้จึงมีความสำคัญ 

แต่คำถามของเราในฐานะผู้ปฏิบัติงานด้าน AI สองคน… ความสามารถในการอธิบายนั้นสำคัญหรือไม่ หรือนำไปสู่ความรู้สึกปลอดภัยที่ผิดพลาด? 

ปัญญาประดิษฐ์ที่อธิบายได้ (XAI) ซึ่งสรุปโดย IBM Watson คือชุดของกระบวนการและวิธีการที่ช่วยให้ผู้ใช้ที่เป็นมนุษย์สามารถเข้าใจและเชื่อถือผลลัพธ์และผลลัพธ์ที่สร้างโดยอัลกอริทึมการเรียนรู้ของเครื่อง 

หลายคนเชื่อว่า XAI ส่งเสริมความโปร่งใสและความไว้วางใจของโมเดล ทำให้ผู้คนรู้สึกสบายใจมากขึ้นกับความเสี่ยงของการเรียนรู้ที่ไม่เหมาะสมและการคาดการณ์ที่ไม่ถูกต้องที่อาจเกิดขึ้นกับโมเดลแมชชีนเลิร์นนิง

 เป็นธรรมชาติของมนุษย์ที่จะแสวงหาคำอธิบายเพื่อทำความเข้าใจเรื่องที่ไม่รู้จักได้ดีขึ้น เราพึ่งพาความสามารถในการอธิบายมากยิ่งขึ้นเมื่อเดิมพันสูง 

ตามที่นักวิจัยสองคนของ Dartmouth ได้สรุปไว้เมื่อเร็วๆ นี้ หากคำอธิบายได้รับการสนับสนุนด้วยแผนภูมิที่สวยงาม เราก็เป็นส่วนหนึ่งของคำอธิบายนั้น 

คำอธิบายสามารถทำให้เรารู้สึกปลอดภัยเมื่อต้องตัดสินใจอย่างรอบรู้ ยกตัวอย่างเช่น ผู้ป่วยที่ขอคำอธิบายการวินิจฉัยจากแพทย์

แม้ว่าคำอธิบายจะเข้าใจยาก แต่ยิ่งแพทย์ฟังดูเป็นวิทยาศาสตร์มากเท่าไหร่ ผู้ป่วยก็จะรู้สึกดีขึ้นเท่านั้น มันสามารถเหมือนกันกับ AI ยิ่งผู้ใช้ปลายทางได้รับรายละเอียดมากขึ้นเกี่ยวกับวิธีการทำงาน พวกเขาก็จะยิ่งมีแนวโน้มที่จะยอมรับผลลัพธ์ว่าถูกต้องและรู้สึกมั่นใจในการดำเนินการดังกล่าว 

คำอธิบายเพียงพอหรือไม่ บางสิ่งซับซ้อน และเพียงมีคำอธิบายไม่ใช่เงื่อนไขที่เพียงพอและจำเป็นในการได้มาซึ่งอรรถประโยชน์ และด้วยธุรกิจจำนวนมากที่กำลังพิจารณาลู่ทางในการนำ AI มาใช้

เราต้องถามเกี่ยวกับความเสี่ยงที่เกี่ยวข้องกับการพึ่งพาความสามารถในการอธิบายอย่างมาก จะทำอย่างไรหากผู้อธิบายไม่มีความรู้เพียงพอ ผู้ใช้อาจได้รับข้อมูลที่ไม่ถูกต้องโดยไม่รู้ตัว จะเกิดอะไรขึ้นหากไม่มีความคุ้นเคยกับหัวข้อที่จะเข้าใจคำอธิบายอย่างถ่องแท้

ค่อนข้างเป็นไปได้ที่เมื่อพูดถึงหัวข้อใหม่ เช่น โมเดล AI ผู้ใช้ เช่น ผู้มีส่วนได้ส่วนเสียทางธุรกิจ หน่วยงานกำกับดูแล และแม้แต่ผู้เชี่ยวชาญด้านโดเมน อาจลงเอยด้วยความเข้าใจเพียงผิวเผินของคำอธิบายที่ให้ไว้ พวกเขาอาจไม่สามารถแยกแยะได้ว่าโมเดลนั้นไม่ถูกต้องหรือไม่และอย่างไรในตอนแรก ซึ่งหมายความว่าแม้จะมีคำอธิบาย ผู้ใช้ก็ยังอาจลงเอยด้วยการตัดสินใจที่ผิดพลาดได้

ในหลายกรณี การใช้แบบจำลองที่แม่นยำดีกว่าการมีคำอธิบาย ท้ายที่สุดแล้ว หลักฐานของประโยชน์ใช้สอยใดจะดีไปกว่าแบบจำลองที่ให้ผลลัพธ์ที่ถูกต้อง 

ดังนั้นเราจึงต้องตั้งคำถามว่าเราควรดำเนินการตามคำอธิบาย เช่นเดียวกับที่ XAI กำลังเดือดดาลอยู่ในตอนนี้ หรือตามความจริง? ความจริงใจมาจากการวัดความแม่นยำ ซึ่งบ่งชี้ว่าเราสามารถไว้วางใจระบบได้มากน้อยเพียงใด 

ความแม่นยำเชื่อมโยงโดยตรงกับคุณภาพของข้อมูลพื้นฐาน ความก้าวหน้าของคุณภาพข้อมูลและความแม่นยำเมื่อเวลาผ่านไป โมเดล AI จำนวนมากใช้ในการตั้งค่าไดนามิกซึ่งการเลื่อนไหลของข้อมูลเป็นเรื่องปกติ การถามคำถามที่สำคัญเกี่ยวกับการกระจายข้อมูลการฝึกอบรมและข้อมูลตัวอย่างเป็นองค์ประกอบสำคัญของการมีแบบจำลองที่แม่นยำซึ่งเชื่อถือได้

ลืมคำอธิบายและเหตุผลไปชั่วขณะ แล้วลองนึกภาพระบบที่สามารถสร้างความจริงในระดับสูงโดยการทำชุดข้อมูลทดสอบขนาดใหญ่ในการกระจายต่างๆ ในโลกแห่งความเป็นจริงให้ดี ดูเหมือนจะดีเกินจริงใช่ไหม? 

ให้เราตรวจสอบแนวคิดนี้โดยใช้สถานการณ์ในชีวิตจริง คุณเคยต้องขอคำอธิบายจากเพื่อนร่วมงานหรือเพื่อนของคุณว่าพวกเขาจำคุณได้อย่างไรในเวลาเพียงเสี้ยววินาที? ไม่ใช่เพราะความจริงของผล การทำความเข้าใจ “อย่างไร” ไม่ใช่เรื่องยากอีกต่อไป เพราะผลลัพธ์สุดท้ายนั้นถูกต้องด้วยความแม่นยำสูง 

ในทำนองเดียวกันใน AI เมื่อเราเปลี่ยนไปสู่ขั้นตอนที่ความแม่นยำของแบบจำลองนั้นดีกว่าพื้นฐานของมนุษย์ และเรามีความแม่นยำสูงถึงระดับนั้น ความสามารถในการอธิบายก็จะมีความเกี่ยวข้องน้อยลง ดังนั้นทางเลือกอื่นในการอธิบายคืออะไร? เมตริกที่เรียบง่ายและเป็นมิตรกับธุรกิจ 

ในฐานะผู้ปฏิบัติงานด้าน AI เราจำเป็นต้องตระหนักว่าเป็นเรื่องยากสำหรับผู้ที่ไม่ใช่ผู้ปฏิบัติงานจริงในการทำความเข้าใจเมตริกการวิเคราะห์ต่างๆ ของเรา เช่น: คะแนน F1, คะแนน Rouge, ความฉงนสนเท่ห์, คะแนน Bleu, WER, เมทริกซ์ความสับสน ฯลฯ

เราต้องการความเรียบง่าย เมตริกที่เป็นมิตรต่อธุรกิจที่สามารถเข้าใจได้ง่าย เช่น การใช้คะแนน Sensibleness and Specificity Average (SSA) ของ Google 

ในคะแนนการประเมินสำหรับ Meena[1] แม้ว่าการพัฒนาเมตริกอย่างง่ายในทุกกรณีอาจไม่ใช่เรื่องง่าย แต่เราจำเป็นต้องทำเช่นนั้นทุกครั้งที่เป็นไปได้เพื่อจำกัดความจำเป็นในการอธิบายโมเดลและนำไปสู่การตัดสินใจที่ดีขึ้นสำหรับผู้ใช้ปลายทาง AI

view original *