บทสรุป: นักวิจัยของ EPFL ได้พัฒนาอัลกอริธึมMachine-Learningแบบใหม่ที่เรียกว่า CEBRA ซึ่งสามารถทำนายสิ่งที่หนูมองเห็นได้จากการถอดรหัสกิจกรรมทางประสาทของพวกมัน
อัลกอริทึมจับคู่การทำงานของสมองกับเฟรมเฉพาะและสามารถทำนายเฟรมภาพยนตร์ที่มองไม่เห็นได้โดยตรงจากสัญญาณสมองเพียงอย่างเดียวหลังจากช่วงการฝึกเริ่มต้น
Summary: EPFL researchers have developed a novel machine-learning algorithm called CEBRA, which can predict what mice see based on decoding their neural activity.
The algorithm maps brain activity to specific frames and can predict unseen movie frames directly from brain signals alone after an initial training period.
อัลกอริทึม Machine-Learning ทำนายสิ่งที่หนูเห็นจากข้อมูลสมอง
สรุป: นักวิจัยของ EPFL ได้พัฒนาอัลกอริธึมMachine-Learningแบบใหม่ที่เรียกว่า CEBRA ซึ่งสามารถทำนายสิ่งที่หนูมองเห็นได้จากการถอดรหัสกิจกรรมทางประสาทของพวกมัน
อัลกอริทึมจับคู่การทำงานของสมองกับเฟรมเฉพาะและสามารถทำนายเฟรมภาพยนตร์ที่มองไม่เห็นได้โดยตรงจากสัญญาณสมองเพียงอย่างเดียวหลังจากช่วงการฝึกเริ่มต้น
นอกจากนี้ยังสามารถใช้ CEBRA เพื่อทำนายการเคลื่อนไหวของแขนในไพรเมต และสร้างตำแหน่งของหนูขึ้นใหม่ขณะที่พวกมันเคลื่อนที่ไปรอบ ๆ สนามกีฬา ซึ่งแนะนำการใช้งานทางคลินิกที่เป็นไปได้
ข้อมูลสำคัญ:
- นักวิจัยจาก École polytechnique fédérale de Lausanne (EPFL) ได้พัฒนาอัลกอริธึมMachine-Learningที่เรียกว่า CEBRA ซึ่งสามารถเรียนรู้โครงสร้างที่ซ่อนอยู่ในรหัสประสาทเพื่อสร้างสิ่งที่หนูเห็นเมื่อดูภาพยนตร์หรือการเคลื่อนไหวของแขนในไพรเมต
- CEBRA อาศัยการเรียนรู้แบบคอนทราสต์ ซึ่งเป็นเทคนิคที่ช่วยให้นักวิจัยพิจารณาข้อมูลประสาทและฉลากพฤติกรรม เช่น รางวัล การเคลื่อนไหวที่วัดได้ หรือคุณสมบัติทางประสาทสัมผัส เช่น สีหรือพื้นผิวของภาพ
- จุดแข็งของ CEBRA ได้แก่ ความสามารถในการรวมข้อมูลระหว่างรูปแบบต่างๆ จำกัดความแตกต่าง และสร้างข้อมูลสังเคราะห์ขึ้นใหม่ อัลกอริทึมนี้มีการใช้งานที่น่าตื่นเต้นในพฤติกรรมสัตว์ ข้อมูลการแสดงออกของยีน และการวิจัยทางประสาทวิทยา
เป็นไปได้ไหมที่จะสร้างสิ่งที่คนเห็นตามสัญญาณสมองเพียงอย่างเดียว? คำตอบคือไม่ ยังไม่ได้ แต่นักวิจัยของ EPFL ได้ก้าวไปในทิศทางนั้นด้วยการแนะนำอัลกอริธึมใหม่สำหรับการสร้างแบบจำลองเครือข่ายประสาทเทียมที่จับไดนามิกของสมองด้วยระดับความแม่นยำที่น่าประทับใจ
อัลกอริทึม Machine-Learning มีรากฐานมาจากคณิตศาสตร์ เรียกว่า CEBRA (อ่านว่า ซีบรา) และเรียนรู้โครงสร้างที่ซ่อนอยู่ในรหัสประสาท
ข้อมูลใดที่ CEBRA เรียนรู้จากข้อมูลดิบของระบบประสาทสามารถทดสอบได้หลังการฝึกโดยการถอดรหัส ซึ่งเป็นวิธีการที่ใช้สำหรับส่วนต่อประสานระหว่างสมองกับเครื่องจักร (BMI) และพวกเขาได้แสดงให้เห็นว่าสามารถถอดรหัสจากแบบจำลองที่เมาส์เห็นในขณะที่มัน ดูหนัง
แต่ CEBRA ไม่ได้จำกัดเฉพาะเซลล์ประสาทส่วนการมองเห็น หรือแม้แต่ข้อมูลของสมอง การศึกษาของพวกเขายังแสดงให้เห็นว่ามันสามารถใช้ในการทำนายการเคลื่อนไหวของแขนในไพรเมต และสร้างตำแหน่งของหนูขึ้นใหม่ในขณะที่พวกมันวิ่งไปรอบ ๆ สนามกีฬาอย่างอิสระ
การศึกษาได้รับการตีพิมพ์ใน Nature
Mackenzie Mathis ประธาน Bertarelli ของ EPFL ด้าน Integrative Neuroscience และ PI ของการศึกษากล่าวว่า “งานนี้เป็นเพียงขั้นตอนหนึ่งไปสู่อัลกอริทึมที่ได้รับการสนับสนุนทางทฤษฎีซึ่งจำเป็นในเทคโนโลยีประสาทเพื่อให้ค่าดัชนีมวลกายมีประสิทธิภาพสูง”
สำหรับการเรียนรู้โครงสร้างแฝง (เช่น ซ่อนเร้น) ในระบบการมองเห็นของหนู CEBRA สามารถทำนายเฟรมภาพยนตร์ที่มองไม่เห็นได้โดยตรงจากสัญญาณสมองเพียงลำพังหลังจากช่วงการฝึกเริ่มต้นที่ทำแผนที่สัญญาณสมองและคุณลักษณะของภาพยนตร์
ข้อมูลที่ใช้สำหรับการถอดรหัสวิดีโอเป็นแบบเปิดผ่านสถาบัน Allen ในซีแอตเทิล รัฐวอชิงตัน สัญญาณสมองสามารถรับได้โดยตรงจากการวัดการทำงานของสมองผ่านหัววัดอิเล็กโทรดที่สอดเข้าไปในพื้นที่คอร์เทกซ์สายตาของสมองของหนู หรือใช้หัววัดแบบออปติคัลซึ่งประกอบด้วยการใช้หนูดัดแปลงพันธุกรรม ซึ่งได้รับการออกแบบทางวิศวกรรมเพื่อให้เซลล์ประสาทที่กระตุ้นการทำงานเรืองแสงเป็นสีเขียว
สำหรับการเรียนรู้ latent (hidden) structure ในระบบการมองเห็นของหนู CEBRA สามารถทำนายเฟรมภาพยนตร์ที่มองไม่เห็นได้โดยตรงจากสัญญาณสมอง หลังจากการฝึกเพื่อทำ mapping brain signals และ movie features Credit: Neuroscience News
ในช่วงระยะเวลาการฝึกอบรม CEBRA เรียนรู้ที่จะจับคู่การทำงานของสมองกับเฟรมเฉพาะ CEBRA ทำงานได้ดีกับเซลล์ประสาทน้อยกว่า 1% ในคอร์เท็กซ์การมองเห็น เมื่อพิจารณาว่าในหนู พื้นที่สมองนี้ประกอบด้วยเซลล์ประสาทประมาณ 0.5 ล้านเซลล์
“โดยสรุปแล้ว CEBRA ขึ้นอยู่กับการเรียนรู้แบบคอนทราสต์ ซึ่งเป็นเทคนิคที่เรียนรู้ว่าข้อมูลมิติสูงสามารถจัดเรียงหรือฝังลงในสเปซที่มีมิติต่ำกว่าซึ่งเรียกว่าพื้นที่แฝงได้อย่างไร เพื่อให้จุดข้อมูลที่คล้ายกันอยู่ใกล้กันและข้อมูลที่แตกต่างกันมากขึ้น คะแนนห่างกันมากขึ้น” มาติสอธิบาย
“การฝังนี้สามารถใช้เพื่อสรุปความสัมพันธ์และโครงสร้างที่ซ่อนอยู่ในข้อมูล ช่วยให้นักวิจัยสามารถร่วมกันพิจารณาข้อมูลประสาทและป้ายกำกับพฤติกรรม รวมถึงการเคลื่อนไหวที่วัดได้ ป้ายกำกับที่เป็นนามธรรม เช่น “รางวัล” หรือคุณสมบัติทางประสาทสัมผัส เช่น สีหรือพื้นผิวของภาพ”
Steffen Schneider ผู้เขียนร่วมคนแรกของรายงานกล่าวว่า “CEBRA เหนือกว่าอัลกอริธึมอื่นๆ ในการสร้างข้อมูลสังเคราะห์ขึ้นใหม่ ซึ่งมีความสำคัญอย่างยิ่งในการเปรียบเทียบอัลกอริทึม” “จุดแข็งของมันยังอยู่ที่ความสามารถในการรวมข้อมูลในรูปแบบต่างๆ เช่น คุณสมบัติภาพยนตร์และข้อมูลสมอง และช่วยจำกัดความแตกต่าง เช่น การเปลี่ยนแปลงข้อมูลซึ่งขึ้นอยู่กับวิธีการรวบรวม”
“เป้าหมายของ CEBRA คือการค้นพบโครงสร้างในระบบที่ซับซ้อน และเนื่องจากสมองเป็นโครงสร้างที่ซับซ้อนที่สุดในจักรวาลของเรา จึงเป็นพื้นที่ทดสอบที่ดีที่สุดสำหรับ CEBRA นอกจากนี้ยังสามารถให้ข้อมูลเชิงลึกแก่เราเกี่ยวกับวิธีที่สมองประมวลผลข้อมูลและอาจเป็นแพลตฟอร์มสำหรับการค้นพบหลักการใหม่ทางประสาทวิทยาโดยการรวมข้อมูลของสัตว์และแม้แต่สปีชีส์” มาติสกล่าว
“อัลกอริธึมนี้ไม่ได้จำกัดเฉพาะการวิจัยทางประสาทวิทยาศาสตร์ เนื่องจากสามารถนำไปใช้กับชุดข้อมูลจำนวนมากที่เกี่ยวข้องกับเวลาหรือข้อมูลร่วม รวมถึงข้อมูลพฤติกรรมสัตว์และการแสดงออกของยีน ดังนั้นการประยุกต์ใช้ทางคลินิกที่มีศักยภาพจึงน่าตื่นเต้น”
Abstract
Learnable latent embeddings สำหรับการวิเคราะห์พฤติกรรมร่วมและระบบประสาท
การทำแผนที่การกระทำทางพฤติกรรมกับการทำงานของระบบประสาทเป็นเป้าหมายพื้นฐานของประสาทวิทยาศาสตร์ เมื่อความสามารถของเราในการบันทึกข้อมูลประสาทและพฤติกรรมขนาดใหญ่เพิ่มขึ้น จึงมีความสนใจเพิ่มขึ้นในการสร้างแบบจำลองไดนามิกของระบบประสาทในระหว่างพฤติกรรมแบบปรับตัวเพื่อสำรวจการเป็นตัวแทนของประสาท
โดยเฉพาะอย่างยิ่ง แม้ว่า neural latent embeddings สามารถเปิดเผยความสัมพันธ์พื้นฐานของพฤติกรรมได้ แต่เราขาด nonlinear techniques ที่สามารถใช้ประโยชน์จากพฤติกรรมร่วมและข้อมูลประสาทอย่างชัดเจนและยืดหยุ่นเพื่อเปิดเผยไดนามิกของประสาท
ที่นี่ เราเติมเต็มช่องว่างนี้ด้วยวิธีการเข้ารหัสแบบใหม่ CEBRA ซึ่งใช้ข้อมูลพฤติกรรมและประสาทร่วมกันในลักษณะที่ขับเคลื่อนด้วย (supervised) hypothesis หรือ (self-supervised) discovery-driven manner เพื่อสร้าง latent spaces ที่สอดคล้องและมีประสิทธิภาพสูง เราแสดงให้เห็นว่าสามารถใช้ความสอดคล้องกันเป็นเมตริกในการเปิดเผยความแตกต่างที่มีความหมายได้ และค่า inferred latents สามารถใช้สำหรับการถอดรหัสได้
เราตรวจสอบความถูกต้อง และแสดงยูทิลิตี้เครื่องมือของเราสำหรับทั้งชุดข้อมูลแคลเซียมและอิเล็กโทรสรีรวิทยา (electrophysiology) ในงานประสาทสัมผัสและงานกล้ามเนื้อ และในพฤติกรรมที่เรียบง่ายหรือซับซ้อนในสปีชีส์ต่างๆ ช่วยให้ใช้ประโยชน์จากชุดข้อมูลแบบเซสชันเดียวและหลายเซสชันสำหรับการทดสอบสมมติฐาน หรือไม่ต้องทำป้ายกำกับ
ประการสุดท้าย เราแสดงให้เห็นว่า CEBRA สามารถใช้สำหรับการทำแมพปิ้งสเปซ แสดงคุณสมบัติทาง kinematic ที่ซับซ้อน สำหรับการสร้าง latent spaces ที่สอดคล้องกันในข้อมูลสองโฟตอนและข้อมูล Neuropixels และสามารถถอดรหัสวิดีโอธรรมชาติจากวิชวลคอร์เทกซ์ (visual cortex) ได้อย่างรวดเร็วและแม่นยำสูง