當前，邊緣智能硬件系統正越來越多地將各種不同類型的視覺傳感器集成于一體(包括3D激光雷達、神經形態動態視覺傳感器以及傳統相機)以提升系統性能。直接在邊緣智能系統上對不同傳感器輸出的多模態數據進行分析，對于各種新型應用如增強現實/虛擬現實、無人機等都很重要，這一需求對軟硬件系統的多個方面提出了挑戰。比如，系統需要考慮如何對多模態數據進行統一的數據表征、較高的硬件能效以及快速的模型訓練。但多模態信號在數據結構上的異構性導致邊緣系統的開發有較高復雜性，傳統數字硬件的性能受限于物理分離的存儲與計算單元(即馮·諾依曼瓶頸)以及晶體管尺寸縮放的物理極限(摩爾定律放緩)。隨著模型規模的持續擴大，其復雜的訓練過程進一步加劇了上述限制。
 

　　近日，中國科學院微電子研究所集成電路制造技術全國重點實驗室尚大山研究員與南方科技大學深港微電子學院王中銳博士合作，通過軟硬件協同設計，開發了基于隨機阻變存儲器的深度極限點云學習機系統。本研究提出一種新穎的軟硬件協同設計系統—基于隨機電阻存儲器的深度極限點云學習機(DEPLM)，可支持高效統一的點集分析。從數據層面，將多模態數據統一表示為點集，從而實現通用化處理；從軟件層面，團隊首次提出深度極限點云學習機，大部分權重無需訓練，大幅降低了訓練復雜度；從硬件層面，阻變存儲器不僅可以實現存儲與計算的一體化，還利用其固有的編程隨機性生成DEPLM的隨機稀疏權重，從而抑制了讀取噪聲的影響。合作團隊在多種數據類型和兩類學習任務中驗證了該系統的普適性。與傳統數字硬件系統相比，該協同設計系統實現了能效提升，同時降低了訓練成本。這種基于隨機阻變存儲器的深度極限點云學習機，有望為跨模態、跨任務的高能效、易訓練邊緣智能系統開辟新路徑。
 

　　研究成果近期發表在《自然-通訊》期刊上(Nature Communications,?DOI: https://doi.org/10.1038/s41467-025-56079-3)。中國科學院微電子研究所尚大山研究員和南方科技大學王中銳博士為該文章的通訊作者。參與本工作的還有復旦大學、浙江大學、香港大學和香港科技大學等合作單位。該項目得到了科技部、國家自然科學基金委、中國科學院和香港研究資助局的支持。
 

圖1??基于隨機阻變存儲器的深度極限點云學習機軟硬件設計