近日，北京大學深圳研究生院信息工程學院/廣東省存算一體芯片重點實驗室的楊玉超教授團隊在Nature Electronics雜志上發(fā)表了題為“Reconfigurable in-sensor processing based on a multi-phototransistor-one-memristor array”的研究論文，在可重構感存算一體集成陣列與硬件系統(tǒng)領域取得重要進展。針對現(xiàn)有憶阻器視覺感知神經(jīng)形態(tài)器件在動力學特性和編碼功能上的局限以及集成硬件系統(tǒng)算法兼容性不足的問題，楊玉超團隊首次提出將莫特氧化物異質結結構憶阻器與光晶體管集成，構建了支持多種光圖像編碼功能的可重構硬件系統(tǒng)。這一系統(tǒng)能夠實現(xiàn)光圖像的時空、模擬與脈沖編碼，并兼容生物啟發(fā)式和機器學習架構的多種算法，通過與非易失性憶阻器陣列集成可支持多種光學神經(jīng)網(wǎng)絡(如光學卷積神經(jīng)網(wǎng)絡、循環(huán)神經(jīng)網(wǎng)絡、脈沖神經(jīng)網(wǎng)絡)，從而執(zhí)行多種計算視覺任務，包括識別靜態(tài)、運動和彩色圖像識別功能，為實現(xiàn)大規(guī)模可重構視覺計算硬件系統(tǒng)奠定了關鍵基礎。
 

　　隨著機器視覺技術的快速發(fā)展，圖像傳感器在邊緣計算中扮演著越來越重要的角色。然而，基于CMOS技術的傳統(tǒng)視覺計算系統(tǒng)在實時圖像處理方面面臨諸多挑戰(zhàn)，主要是由于圖像傳感器、存儲器和處理器之間的物理分離導致圖像信息處理的延遲和冗余數(shù)據(jù)的生成。為了解決這些問題，集成了神經(jīng)形態(tài)計算和光圖像感知功能的視覺感存算一體系統(tǒng)成為重要的發(fā)展方向。但目前視覺感知神經(jīng)形態(tài)器件的動力學特性較為單一，無法實現(xiàn)時空信息編碼和脈沖編碼功能，且工作方式單一。從硬件系統(tǒng)功能的角度來看，當前的視覺感存算集成陣列主要支持人工神經(jīng)網(wǎng)絡或脈沖神經(jīng)網(wǎng)絡的單一算法，難以兼容不同類型的神經(jīng)網(wǎng)絡算法，因此有必要實現(xiàn)一種既適應仿生又適應機器學習的感存算一體硬件架構，以構建具有可重構性和多類型算法兼容的視覺計算硬件系統(tǒng)。
 

圖1. 基于憶阻器可重構感存算一體硬件支持實現(xiàn)多類型視覺編碼方式、算法與架構
 

　　針對光憶阻器工作模式單一的局限性，楊玉超課題組首次利用硅基兼容性工藝和材料成功制備了多模式憶阻器。該憶阻器能夠在三種工作模式下運行：線性電阻、閾值開關轉變和短時程記憶。此外，為了解決硬件集成陣列在光感知與編碼能力上的局限性以及線性計算的不足，研究團隊將具有多種工作模式的莫特氧化物憶阻器與具備藍光增強和紅光抑制特性的光晶體管進行了集成。這一創(chuàng)新實現(xiàn)了具有可重構特性的視覺感存算一體化集成陣列與硬件系統(tǒng)，拓展了當前視覺神經(jīng)形態(tài)硬件集成陣列的可重構性，提升了硬件集成陣列的復雜信息處理能力以及硬件系統(tǒng)的算法兼容性。
 

圖2. 可重構光晶體管-憶阻器集成陣列與1T1R非易失性憶阻器集成陣列
 

　　通過光晶體管與憶阻器集成陣列、1T1R非易失性憶阻器集成陣列、CMOS外圍讀寫電路及邏輯控制模塊實現(xiàn)板級集成，研究團隊構建了可重構感存算一體硬件系統(tǒng)。實驗結果表明，該系統(tǒng)能夠通過外圍電路靈活編程，演示多種神經(jīng)網(wǎng)絡算法與圖像計算任務，包括光卷積神經(jīng)網(wǎng)絡(OCNN)進行靜態(tài)圖像識別、光循環(huán)神經(jīng)網(wǎng)絡(ORNN)實現(xiàn)事件型時序脈沖圖像編碼處理，以及光脈沖神經(jīng)網(wǎng)絡(OSNN)對不同顏色和形狀目標的識別。
 

　　圖3. 基于光晶體管-憶阻器集成陣列與1T1R非易失性憶阻器集成陣列的可重構感存算一體硬件電路系統(tǒng)

 

　　實驗成功演示了基于光晶體管與憶阻器集成陣列的卷積濾波功能，顯示其卷積核能夠有效提取光圖像的邊緣特征，并基于該系統(tǒng)構建了光卷積神經(jīng)網(wǎng)絡，實現(xiàn)了圖像的訓練與識別；此外，利用相同可重構硬件系統(tǒng)構建的儲備池網(wǎng)絡展示了該硬件系統(tǒng)具備直接感知光學圖像、時序信息整合及事件型圖像特征提取與模擬編碼的能力；基于光晶體管的藍光增強和紅光抑制特性，該系統(tǒng)成功演示了對紅藍光圖像的感知與脈沖編碼，實現(xiàn)了脈沖神經(jīng)網(wǎng)絡對彩色圖像的識別功能，從而證明了基于可重構光晶體管-憶阻器集成陣列的感存算一體硬件系統(tǒng)在不同光信息處理、多種算法兼容性及可重構特性方面的潛力。這一研究為未來智能視覺系統(tǒng)的開發(fā)提供了新的硬件基礎，具有廣泛的應用前景，如智能監(jiān)控、自動駕駛和機器人視覺等領域，提升了硬件的靈活性與適應性，具有重要的理論與實際意義。
 

　　圖4. 基于可重構感存算一體硬件系統(tǒng)的光卷積神經(jīng)網(wǎng)絡、光循環(huán)神經(jīng)網(wǎng)絡與光脈沖神經(jīng)網(wǎng)絡

 

　　北京大學博士生畢業(yè)生黨丙杰為第一作者，楊玉超為通訊作者。相關工作得到了國家重點研發(fā)計劃、國家杰出青年科學基金、北京市雙“1+1”重點項目、后摩爾重大研究計劃等項目的資助。