近期,中國科學院合肥物質院智能所謝成軍與張潔團隊提出了一種全新的頻域無關特征學習框架,為多源異構遙感圖像的統一表征與自適應融合提供了新的解決方案。該研究在計算機視覺領域TOP國際期刊IEEE Transactions on Circuits and Systems for Video Technology.(IEEE TCSVT)上發表。
遙感圖像全色銳化是遙感
圖像處理方向的核心技術,它通過融合高分辨率的全色圖像和低分辨率的多光譜圖像,從而生成細節更加豐富、視覺清晰度更高的高分辨率多光譜遙感圖像。這項技術在提升光學遙感衛星的空間分辨率與光譜分辨率平衡方面具有重要應用價值,然而,現有的遙感圖像全色銳化方法在面對分布外數據時通常會出現顯著的性能下降,原因在于其假設訓練集和測試集的數據分布相同。
為克服上述挑戰,研究團隊提出了全新的頻域無關特征學習框架。該方法通過分析圖像幅值與相位分量中的域無關信息分布,利用頻率信息分離模塊和可學習的高頻濾波器來對圖像信息進行解耦,再將這些信息輸入專門設計的子網絡進行學習。最終,經過信息融合與恢復模塊的動態特征通道權重調整,生成高質量的融合圖像。在多個公開數據集上的跨場景測試結果表明,該方法在泛化性能方面表現優越,能夠有效應對不同數據分布的挑戰。通過在WorldView-III數據集上訓練,并將其泛化到其他數據集進行測試,該方法不僅在訓練數據集上保持了卓越的表現,且在泛化數據集上相比次優方法,分別在WorldView-II和GaoFen-2數據集上取得了1.46 dB和4.97 dB的峰值信噪比(PSNR)提升。此外,視覺效果的對比驗證了該框架在域無關信息提取和學習上的有效性,能夠在數據分布存在顯著差異的情況下,保持穩定的性能。這進一步證明了該方法在解決遙感圖像全色銳化泛化問題中的重要價值。
該項工作得到了安徽省自然科學基金項目的資助。張潔副研究員和碩士生曹可為論文的共同第一作者。張俊、周滿為論文的共同通訊作者。
圖 1 基于頻域解耦的遙感圖像全色銳化域無關特征學習網絡
圖 2 可學習的高頻濾波模塊
表1在WorldView-III數據集上訓練的跨數據集實驗
圖 4 WorldView-II 數據集上的泛化實驗結果