腦機接口(BCI)技術(shù)作為連接人腦與外部設(shè)備的重要橋梁，近年來在醫(yī)療、康復(fù)、智能家居等領(lǐng)域展現(xiàn)出了巨大的應(yīng)用潛力。然而，傳統(tǒng)的BCI系統(tǒng)多依賴單一的EEG信號，其空間分辨率低且易受干擾，限制了其性能的進一步提升。為此，研究者們開始探索將EEG與fNIRS(功能性近紅外光譜)相結(jié)合的雙模態(tài)BCI系統(tǒng)，以期通過兩種信號的互補優(yōu)勢，實現(xiàn)更高效、更準(zhǔn)確的腦機交互。 然而，同時記錄EEG和fNIRS信號并非易事。由于兩種傳感器在頭皮上的布局存在沖突，同時記錄高質(zhì)量的混合信號面臨諸多挑戰(zhàn)。
 

　　為突破這一瓶頸，中國科學(xué)院深圳先進技術(shù)研究院的王書強課題組提出了一種創(chuàng)新的解決方案——SCDM(Spatio-Temporal Controlled Diffusion Model)，即時空控制擴散模型。該模型利用生成式AI技術(shù)，從EEG信號中生成fNIRS信號，從而實現(xiàn)雙模態(tài)信號的采集。 2025年3月4日團隊相關(guān)工作在IEEE Transactions on Medical Imaging發(fā)表了題為SCDM: Unified Representation Learning for EEG-to-fNIRS Cross-Modal Generation in MI-BCIs的研究成果，首次實現(xiàn)了基于生成式人工智能的EEG到fNIRS跨模態(tài)生成。
 

　　SCDM模型的核心在于其兩個關(guān)鍵模塊：空間跨模態(tài)生成(SCG)模塊和多尺度時序表示(MTR)模塊。SCG模塊通過改進的二維注意力機制，學(xué)習(xí)EEG和fNIRS信號的空間表示，并實現(xiàn)從EEG到fNIRS的準(zhǔn)確映射。MTR模塊則通過因果擴張卷積和深度可分離卷積，捕捉多樣化的時序特征，同時減少空間特征的干擾，從而提高表示的準(zhǔn)確性。
 

　　研究團隊通過對比真實fNIRS信號和合成fNIRS信號的分類性能，發(fā)現(xiàn)合成信號在多項指標(biāo)上與真實信號相當(dāng)，甚至在某些情況下表現(xiàn)更優(yōu)。這表明，SCDM模型生成的fNIRS信號不僅在質(zhì)量上接近真實信號，而且在實際應(yīng)用中具有潛在的替代價值。 此外，研究還發(fā)現(xiàn)，合成fNIRS信號在空間分布和時間特征上與真實信號高度一致。通過對比fNIRS通道與EEG通道的相關(guān)性，發(fā)現(xiàn)合成信號保留了與EEG信號的空間對應(yīng)關(guān)系，這為雙模態(tài)信號的融合提供了有力支持。 SCDM模型不僅解決了同時記錄EEG和fNIRS信號的難題，還為未來BCI系統(tǒng)的性能提升提供了新的可能性。
 

　　數(shù)字所研究生李逸升為第一作者，王怡珊研究員為共同作者，王書強研究員為論文通訊作者，該研究工作得到了國家重點研發(fā)計劃、國家自然科學(xué)基金等科技項目資助。
 

SCDM模型圖
 

合成fNIRS信號與真實fNIRS信號的血流動力學(xué)響應(yīng)曲線對比