LogAI เป็นไลบรารีฟรีสำหรับการวิเคราะห์บันทึกและข้อมูลอัจฉริยะที่รองรับงานวิเคราะห์บันทึกและข้อมูลอัจฉริยะต่างๆ เข้ากันได้กับรูปแบบบันทึกหลายรูปแบบและมีส่วนต่อประสานกราฟิกกับผู้ใช้แบบโต้ตอบ LogAI นำเสนออินเทอร์เฟซโมเดลแบบครบวงจรสำหรับโมเดลทางสถิติ (popular statistical), time-series, และ deep-learning models ทำให้ง่ายต่อการเปรียบเทียบอัลกอริทึมการเรียนรู้เชิงลึกสำหรับการตรวจจับความผิดปกติของบันทึก
LogAI is a free library for log analytics and intelligence that supports various log analytics and intelligence tasks. It’s compatible with multiple log formats and has an interactive graphical user interface. LogAI provides a unified model interface for popular statistical, time-series, and deep-learning models, making it easy to benchmark deep-learning algorithms for log anomaly detection.
LogAI: An Open-Source Library
LogAI โอเพ่นซอร์สไลบรารี ออกแบบเพื่อวิเคราะห์ Log ที่บันทึกการทำงานที่สร้างโดยระบบคอมพิวเตอร์มีข้อมูลสำคัญที่ช่วยให้นักพัฒนาเข้าใจพฤติกรรมของระบบและระบุปัญหาได้ ตามปกติ การวิเคราะห์บันทึกจะทำด้วยตนเอง แต่การวิเคราะห์บันทึกโดยใช้ AI จะทำให้งานต่างๆ เป็นไปโดยอัตโนมัติ เช่น การแยกวิเคราะห์บันทึก การสรุป การจัดกลุ่ม และการตรวจจับความผิดปกติ ทำให้กระบวนการมีประสิทธิภาพมากขึ้น บทบาทที่แตกต่างกันในด้านวิชาการและอุตสาหกรรมมีข้อกำหนดที่แตกต่างกันสำหรับการวิเคราะห์บันทึก ตัวอย่างเช่น นักวิจัยด้านแมชชีนเลิร์นนิงต้องเปรียบเทียบการทดสอบกับชุดข้อมูลบันทึกสาธารณะอย่างรวดเร็ว และสร้างผลลัพธ์ซ้ำจากกลุ่มวิจัยอื่นๆ เพื่อพัฒนาอัลกอริทึมการวิเคราะห์บันทึกใหม่ นักวิทยาศาสตร์ด้านข้อมูลทางอุตสาหกรรมจำเป็นต้องเรียกใช้อัลกอริทึมการวิเคราะห์บันทึกที่มีอยู่ในข้อมูลบันทึกของตน และเลือกชุดค่าผสมของอัลกอริทึมและการกำหนดค่าที่ดีที่สุดเป็นโซลูชันการวิเคราะห์บันทึก น่าเสียดายที่ไม่มีไลบรารีโอเพ่นซอร์สใดที่สามารถตอบสนองความต้องการเหล่านี้ได้ทั้งหมด ดังนั้น LogAI จึงได้รับการแนะนำเพื่อตอบสนองความต้องการเหล่านี้และดำเนินการวิเคราะห์บันทึกได้ดีขึ้นสำหรับกรณีการใช้งานทางวิชาการและอุตสาหกรรมต่างๆ
การไม่มีการวิเคราะห์บันทึกโดยใช้ AI ที่ครอบคลุมในแพลตฟอร์มการจัดการบันทึกทำให้เกิดความท้าทายสำหรับการวิเคราะห์แบบครบวงจร เนื่องจากความต้องการแบบจำลองข้อมูลบันทึกแบบรวม ความซ้ำซ้อนในการประมวลผลล่วงหน้า และกลไกการจัดการเวิร์กโฟลว์ การสร้างผลการทดลองซ้ำเป็นเรื่องยาก โดยต้องใช้เครื่องมือวิเคราะห์ที่กำหนดเองสำหรับรูปแบบบันทึกและสคีมาต่างๆ อัลกอริทึมการวิเคราะห์บันทึกที่แตกต่างกันถูกนำมาใช้ในไปป์ไลน์ที่แยกจากกัน เพิ่มความซับซ้อนในการจัดการการทดลองและการเปรียบเทียบ
LogAI ประกอบด้วยสององค์ประกอบหลัก ได้แก่ LogAI core library และ LogAI GUI โมดูล LogAI GUI ช่วยให้ผู้ใช้สามารถเชื่อมต่อกับแอปพลิเคชันการวิเคราะห์บันทึกในไลบรารีหลักและแสดงผลการวิเคราะห์แบบโต้ตอบผ่านอินเทอร์เฟซผู้ใช้แบบกราฟิก ในทางกลับกัน ไลบรารีหลักของ LogAI ประกอบด้วยสี่เลเยอร์ที่แตกต่างกัน:
ชั้นข้อมูลใน LogAI ประกอบด้วยตัวโหลดข้อมูลและโมเดลข้อมูลบันทึกแบบรวมที่กำหนดโดย OpenTelemetry นอกจากนี้ยังมีตัวโหลดข้อมูลต่างๆ เพื่อแปลงข้อมูลบันทึกดิบเป็น LogRecordObjects ในรูปแบบมาตรฐาน
เลเยอร์การประมวลผลล่วงหน้าของ LogAI ทำความสะอาดและแบ่งพาร์ติชันบันทึกโดยใช้ตัวประมวลผลล่วงหน้าและตัวแบ่งพาร์ติชัน ตัวประมวลผลล่วงหน้าจะแยกเอนทิตีและแยกเรกคอร์ดออกเป็นล็อกไลน์ที่ไม่มีโครงสร้างและแอตทริบิวต์ล็อกที่มีโครงสร้าง ในขณะที่ตัวแบ่งพาร์ติชันจะจัดกลุ่มล็อกเป็นเหตุการณ์สำหรับโมเดลแมชชีนเลิร์นนิง ตัวประมวลผลล่วงหน้าและตัวแบ่งพาร์ติชันแบบกำหนดเองพร้อมใช้งานสำหรับชุดข้อมูล open-log เฉพาะ และสามารถขยายเพื่อรองรับรูปแบบบันทึกอื่นๆ
Information Extraction Layer ของ LogAI จะแปลงบันทึกเป็นเวกเตอร์สำหรับแมชชีนเลิร์นนิง มันมีสี่องค์ประกอบ: ตัวแยกวิเคราะห์บันทึก, ตัวแยกเวกเตอร์บันทึก, ตัวเข้ารหัสหมวดหมู่และตัวแยกคุณสมบัติ
เลเยอร์การวิเคราะห์ประกอบด้วยโมดูลสำหรับการดำเนินการวิเคราะห์ พร้อมด้วยอินเทอร์เฟซแบบรวมสำหรับอัลกอริทึมหลายรายการ
LogAI ใช้โมเดลการเรียนรู้เชิงลึก เช่น CNN, LSTM และ Transformer สำหรับการตรวจจับความผิดปกติของบันทึก และสามารถเปรียบเทียบได้กับชุดข้อมูลบันทึกยอดนิยม ผลลัพธ์แสดงให้เห็นว่ามีประสิทธิภาพเทียบเท่าหรือดีกว่า deep-loglizer ด้วยโมเดล LSTM แบบสองทิศทางที่มีการควบคุมซึ่งให้ประสิทธิภาพที่ดีที่สุด