研究背景

在神經(jīng)科學(xué)領(lǐng)域，因果推斷（Causal Inference）被認(rèn)為是大腦區(qū)分“相關(guān)性”與“因果性”的核心機(jī)制，是生物智能區(qū)別于人工智能的關(guān)鍵能力之一。人類與動(dòng)物能夠根據(jù)不同感官輸入的時(shí)間與空間關(guān)系，主動(dòng)判斷事件之間的因果鏈條。例如，響尾蛇能將紅外感知與視覺(jué)感知信號(hào)進(jìn)行整合，推斷出獵物的真實(shí)位置。多感官因果推斷體現(xiàn)了神經(jīng)系統(tǒng)對(duì)多模態(tài)信息的復(fù)雜處理與邏輯推理能力，涉及感知、推理、判斷、決策等多個(gè)過(guò)程。

在神經(jīng)形態(tài)電子學(xué)（Neuromorphic Electronics）研究中，實(shí)現(xiàn)類似生物大腦的因果推斷仍是一項(xiàng)重大挑戰(zhàn)?，F(xiàn)有神經(jīng)形態(tài)系統(tǒng)主要聚焦于信號(hào)融合及模式識(shí)別，能夠有效模擬突觸可塑性和記憶行為，但難以在硬件層面判斷不同模態(tài)信號(hào)間的因果關(guān)系和時(shí)空一致性。因此，在器件層面實(shí)現(xiàn)多模態(tài)信息的因果分析與關(guān)聯(lián)判斷，對(duì)發(fā)展具備推理與理解能力的類腦智能系統(tǒng)具有重要意義。

針對(duì)這些挑戰(zhàn)，北京航空航天大學(xué)蔣程鵬副教授、南開(kāi)大學(xué)徐文濤教授、日本北海道大學(xué)竹井邦晴教授聯(lián)合團(tuán)隊(duì)，提出了一種基于混合可塑性人工突觸簇（Artificial Synaptic Cluster）的神經(jīng)形態(tài)多感官推理系統(tǒng)（Artificial Neuromorphic Multisensory Inference System, ANMIS）。該系統(tǒng)通過(guò)集成具備多時(shí)間尺度可塑性的突觸晶體管陣列，在硬件層面實(shí)現(xiàn)了紅外與超聲信號(hào)的并行處理，并通過(guò)評(píng)估信號(hào)的時(shí)空一致性實(shí)現(xiàn)因果關(guān)系判斷，從而成功模擬了生物神經(jīng)系統(tǒng)中多感官整合與因果推斷的核心過(guò)程。相關(guān)成果以題為《Neuromorphic multisensory inference using mixed-plasticity artificial synaptic cluster》的論文發(fā)表于Cell出版社旗下知名期刊Device。

研究成果

研究團(tuán)隊(duì)利用兼具長(zhǎng)時(shí)程可塑性（LTP）和短時(shí)程可塑性（STP）的雙溝道突觸晶體管陣列構(gòu)建了人工突觸簇，用于并行處理快速編碼和慢速編碼的多模態(tài)傳感信號(hào)。通過(guò)全溶液制造工藝，在InZnO氧化物溝道表面選擇性吸附具有配體包覆的金納米顆粒，實(shí)現(xiàn)了電荷俘獲與離子遷移的協(xié)同調(diào)控，在硬件層面復(fù)現(xiàn)了生物突觸的短期與長(zhǎng)期記憶行為。基于此突觸簇結(jié)構(gòu)，團(tuán)隊(duì)構(gòu)建了神經(jīng)形態(tài)多感官推理系統(tǒng)（ANMIS），實(shí)現(xiàn)了紅外與超聲信號(hào)的跨模態(tài)整合處理。該系統(tǒng)可評(píng)估多模態(tài)信息之間的時(shí)空一致性，進(jìn)而實(shí)現(xiàn)因果判斷與感知增強(qiáng)。實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)在無(wú)需外部計(jì)算資源和神經(jīng)網(wǎng)絡(luò)算法的情況下，實(shí)現(xiàn)了94.2%的因果推斷準(zhǔn)確率與95.3%的物體識(shí)別準(zhǔn)確率。進(jìn)一步地，研究團(tuán)隊(duì)將該系統(tǒng)集成至移動(dòng)機(jī)器人平臺(tái)，實(shí)現(xiàn)了在動(dòng)態(tài)環(huán)境下的多模態(tài)感知與目標(biāo)識(shí)別，驗(yàn)證了其在類腦感知推理與機(jī)器人智能感知中的可行性。

研究亮點(diǎn)

1. 混合可塑性突觸設(shè)計(jì)：構(gòu)建了由STP與LTP雙溝道突觸晶體管組成的人工突觸簇，實(shí)現(xiàn)了多時(shí)間尺度的突觸可塑性與感知記憶特性。

2. 硬件級(jí)因果推理：系統(tǒng)在器件層面實(shí)現(xiàn)了多模態(tài)信號(hào)的時(shí)空一致性判斷與因果關(guān)系推斷功能，在無(wú)需外部計(jì)算資源和神經(jīng)網(wǎng)絡(luò)訓(xùn)練的情況下即可獲得高準(zhǔn)確率。

3. 類腦多感官整合機(jī)制：模擬響尾蛇神經(jīng)系統(tǒng)對(duì)多模態(tài)信息的感知與整合，實(shí)現(xiàn)了同源信號(hào)的有效整合與感知增強(qiáng)。

4. 全溶液法制備工藝：采用低溫溶液法制備類腦器件，具備結(jié)構(gòu)可擴(kuò)展性與柔性電子兼容性，為大規(guī)模神經(jīng)形態(tài)集成提供了工藝基礎(chǔ)。

5. 移動(dòng)機(jī)器人應(yīng)用驗(yàn)證：系統(tǒng)集成至移動(dòng)機(jī)器人平臺(tái)后，可在動(dòng)態(tài)與復(fù)雜環(huán)境中實(shí)現(xiàn)目標(biāo)識(shí)別和自主決策，展示出硬件級(jí)的“感知、推理、行動(dòng)”閉環(huán)能力。

圖文導(dǎo)讀

Figure 1. Multisensory inference and integration in snakes and the brain-inspired ANMIS

Figure 2. Characterization and performance of the artificial synaptic cluster

Figure 3. Neuromorphic multisensory integration of non-human sensory cues for sensory expansion

Figure 4. Demonstration of multisensory causal inference using the ANMIS

Figure 5. Demonstration of multisensory object recognition through perceptual enhancement

總結(jié)與展望

本研究提出了一種基于溶液處理工藝制備的混合可塑性人工突觸簇（Artificial Synaptic Cluster），通過(guò)在氧化物溝道表面選擇性吸附金納米顆粒，實(shí)現(xiàn)了器件的突觸可塑性調(diào)控。多晶InZnO溝道通過(guò)離子?xùn)艠O調(diào)控實(shí)現(xiàn)了短時(shí)程可塑性，而配體包覆的金納米顆粒作為電荷俘獲中心引入了長(zhǎng)時(shí)程可塑性。該人工突觸簇能夠同時(shí)模擬生物突觸的多時(shí)間尺度記憶行為，為實(shí)現(xiàn)神經(jīng)形態(tài)多感官推理奠定了器件基礎(chǔ)。基于該突觸簇構(gòu)建的神經(jīng)形態(tài)多感官推理系統(tǒng)（ANMIS），實(shí)現(xiàn)了紅外與超聲信號(hào)的時(shí)空一致性分析與因果關(guān)系判斷。該工作集成了多模態(tài)感知、時(shí)空編碼與多時(shí)間尺度突觸處理，為實(shí)時(shí)感知與認(rèn)知推理提供了新的體系架構(gòu)。未來(lái)，研究團(tuán)隊(duì)將進(jìn)一步提升人工突觸簇器件的長(zhǎng)期可靠性與環(huán)境適應(yīng)性，并探索其在具身智能機(jī)器人中的集成與應(yīng)用。該工作有望在災(zāi)害救援、無(wú)人駕駛、極端環(huán)境探測(cè)、增強(qiáng)現(xiàn)實(shí)等場(chǎng)景中發(fā)揮重要作用，推動(dòng)具備因果理解與實(shí)時(shí)決策能力的類腦智能系統(tǒng)的發(fā)展。

原文鏈接：

Neuromorphic multisensory inference using mixed-plasticity artificial synaptic cluster

https://doi.org/10.1016/j.device.2025.100897