近年來，以深度學習為代表的計算超分辨方法可在不損失其他成像性能的前提下，提升顯微圖像分辨率或信噪比，表現出廣闊的應用前景。然而，針對生物醫學研究必需高保真度、可定量分析的圖像要求，深度學習顯微成像方法存在三大共性問題：受限于深度學習內秉的頻譜頻移(spectral-bias)問題，輸出圖像分辨率無法達到真值(ground truth)水平；受限于超分辨重建、去噪問題的病態性(ill-posed problem)和神經網絡模型的不確定性(model-uncertainty)，重建或預測結果的真實性無法得到保障；深度神經網絡的訓練需要大量數據，但高質量訓練數據的采集在許多應用場景下極其困難、甚至無法實現。當前，深度學習顯微成像方法的研究和發展如火如荼，并表現出超越傳統成像性能極限的潛力，但上述問題阻礙了現有深度學習超分辨或去噪方法在生物顯微成像實驗中的使用。
 

　　10月6日，中國科學院生物物理研究所李棟課題組聯合清華大學自動化系、清華大學腦與認知科學研究院、清華-IDG/麥戈文腦科學研究院戴瓊海課題組，美國霍華德休斯醫學研究所博士Jennifer Lippincott-Schwartz，在Nature Biotechnology上，以長文(Article)的形式，發表了題為Rationalized deep learning super-resolution microscopy for sustained live imaging of rapid subcellular processes的論文。該研究提出了一套合理化深度學習(rationalized deep learning，rDL)顯微成像技術框架，將光學成像模型及物理先驗與神經網絡結構設計相融合，合理化網絡訓練、預測過程，從而實現了高性能、高保真的顯微圖像去噪與超分辨重建，并結合實驗室自主研發、搭建的多模態結構光照明顯微鏡(Multi-SIM)與高速晶格光片顯微鏡(LLSM)，將傳統TIRF/GI-SIM、3D-SIM、LLS-SIM和LLSM的成像速度/時程提升30倍以上，實現了當前國際最快(684Hz)、成像時程最長(最長可達3小時、60,000時間點以上)的活體細胞成像性能，首次對高速擺動纖毛(>30Hz)中轉運蛋白(IFT)的多種運輸行為以及完整細胞分裂過程中核仁液液相分離(liquid-liquid phase separation)過程進行快速、多色、長時程、超分辨觀測。Nature Biotechnology針對這一工作同時發表了評述文章(Research Briefing)。
 

　　具體而言，李棟/戴瓊海研究團隊提出的合理化深度學習結構光超分辨重建架構(rDL SIM)不同于現有超分辨神經網絡模型的端到端(end-to-end)訓練模式，而是采用分步重建策略，首先利用所提出的融合成像物理模型和結構光照明先驗的神經網絡對原始SIM圖像進行去噪和高頻信息增強，然后通過經典解析算法進行SIM重建以獲得最終的超分辨圖像。相比于該團隊去年在Nature Methods上提出的超分辨重建神經網絡模型DFCAN/DFGAN，rDL SIM可將超分辨重建結果的不確定性降低3~5倍，并實現更高的保真度和重建質量；相比于其他去噪算法(如CARE)，rDL SIM可恢復出調制在原始圖像中的莫爾條紋，并將高頻信息增強10倍以上。
 

　　此外，針對晶格光片顯微鏡、共聚焦顯微鏡等寬場照明或點掃描成像模態，該團隊提出了一種可學習的傅立葉域噪聲抑制模塊(FNSM)。該模塊可以利用OTF信息對顯微圖像中的噪聲進行自適應濾除。科研團隊以此構建了嵌入FNSM的通道注意力去噪神經網絡架構，并基于顯微成像數據本身的時空連續性，提出了時空交織采樣自監督訓練策略(TiS/SiS-rDL)。該策略無需額外采集訓練數據、亦無需保證時序數據具有時間連續性，即可實現媲美監督學習效果的去噪神經網絡的訓練，解決了實際生物成像實驗中高質量訓練數據難以獲取的難題。
 

　　合理化深度學習超分辨顯微成像方法可適用于包括2D-SIM、3D-SIM、LLSM等在內的多種顯微成像模態，提供高分辨率、高保真的顯微圖像重建性能，相較于傳統方法最多可以提升30倍的成像時程和10倍的成像速度。借助rDL成像技術，研究團隊開展了諸多過去的成像手段無法開展的超分辨活體成像實驗，并與Lippincott-Schwartz、中科院分子細胞科學卓越創新中心研究員朱學良、中科院遺傳與發育生物學研究所研究員何康敏探討了其潛在的生物學意義，包括：對滴落在玻片上的U2OS細胞貼壁生長過程進行雙色、長時程(1小時以上)、超分辨(97nm分辨率)觀測，清晰、真實地記錄了細胞粘附和遷移的動力學現象，且不干擾這一漫長、脆弱的生命過程；對高速擺動纖毛以當前最快的684Hz成像速率進行長達60,000個時間點的連續超分辨觀測，且過程中無明顯光漂白或細胞活性損傷，并對纖毛擺動模式和頻率進行統計分析；對擺動纖毛及纖毛內轉運蛋白(IFT)進行超快、超分辨雙色成像，揭示了IFT在行進途中碰撞、重組、掉頭等多種新行為；通過對cCAS-DNA與ER進行雙色、長時程、超分辨成像，觀測到cGAS-DNA在保持與ER持續接觸過程中的定向運動、轉向或擴散等行為，拓展了對膜性細胞器與無膜細胞器相互作用機制的認知；對HeLa細胞分裂過程中的核仁磷酸蛋白(NPM1)、RNA聚合酶I亞基RPA49及染色質(H2B)進行超長時程(12秒采集間隔，2.5小時以上)的三維超分辨活體成像，實現了對完整有絲分裂過程中NPM1與RPA49兩種結構形態變化的三維超分辨活體連續觀測，揭示了細胞有絲分裂過程中核仁形成以及NPM1、RPA49兩種無膜亞細胞結構的相變、互作規律；以10Hz的全細胞體成像幀率對高爾基體進行長達10,000時間點的連續拍攝，并實現了對完整細胞分裂過程內質網、溶酶體、線粒體等亞細胞結構的三色、高速(秒量級)、超長時程(小時量級，>1000個時間點)三維觀測，探究了細胞有絲分裂過程中細胞器在子代細胞中的均勻分配機制。
 

　　李棟/戴瓊海合作團隊通過人工智能算法與光學顯微成像技術的交叉創新，提出了合理化深度學習超分辨顯微成像框架，解決了現有深度學習成像方法分辨率損失、預測不確定性、訓練集不易采集等難題，可為多種活體顯微成像模態提供30倍以上的成像速度與時程的提升，為細胞生物學、發育生物學、神經科學等領域的發展提供了重要的研究工具。同時，該研究團隊所堅持和倡導的人工智能算法與光學成像原理交叉創新、軟硬結合的研究思路，為現代光學顯微成像的發展開辟了新的技術路徑。
 

　　研究工作得到國家自然科學基金、科技部、中科院、中國博士后科學基金、騰訊“科學探索獎”、清華大學“水木學者”計劃的支持。
 

圖1.合理化深度學習超分辨顯微成像神經網絡架構
 

圖2.合理化深度學習超分辨顯微成像方法應用概覽