大腦神經網絡具有復雜的語義記憶和動態連接性,可將不斷變化的輸入與龐大記憶中的經驗聯系起來,高效執行復雜多變的任務。目前,人工智能系統廣泛應用的神經網絡模型多是靜態的。隨著數據量不斷增長,它在傳統數字計算系統中產生大量能耗和時間開銷,難以適應外界環境的變化。
中國科學院微電子研究所微電子器件與集成技術研發中心劉明院士團隊研究員尚大山,聯合香港大學博士王中銳、復旦大學博士張續猛,將人工神經網絡與大腦的動態可重構性相結合,開發出基于語義記憶的動態神經網絡。該網絡將新信息與過去的經驗信息進行關聯,利用輸入樣本與語義記憶的相似性,為神經網絡配備動態連接,從而根據需求分配計算資源。與靜態網絡相比,語義記動態神經網絡能夠根據計算資源權衡識別準確性和計算效率,可在資源受限設備或分布式計算環境中展現出色的性能。
進一步,該團隊基于TaN/TaOx/Ta/TiN阻變存儲器陣列,驗證了動態神經網絡設計在ResNet和PointNet++網絡框架上的有效性。研究顯示,提取特征的神經網絡和語義記憶分別在基于阻變存儲器的存內計算和內容尋址存儲的組合結構上進行物理實現,緩解了馮·諾依曼計算瓶頸。在對2D圖像數據集MNIST和3D點云數據集ModelNet的分類任務中,該設計實現了與軟件相當的準確率,相比于靜態神經網絡減少了48.1%和15.9%的計算量,相比傳統數字硬件系統降低了計算能耗。軟硬件協同設計研究為開發與大腦的適應性和效率相媲美的人工智能系統提供了參考。
近期,相關研究成果發表在《科學進展》(Science Advances)上。研究工作得到國家自然科學基金委員會、科學技術部、中國科學院的支持。
基于語義記憶的腦啟發動態神經網絡硬件軟件協同設計