近日,Science Bulletin(科學(xué)通報(bào),IF=18.8)在線發(fā)表龔健雅院士團(tuán)隊(duì)最新研究成果,論文題目為“Foundation model for generalist remote sensing intelligence: potentials and prospects”。遙感信息工程學(xué)院張覓副研究員為論文第一作者,龔健雅院士為論文通訊作者。
在本研究中,課題組系統(tǒng)地分析了近5年國內(nèi)外遙感大模型在場景分類/檢索、目標(biāo)檢測、地物分類(語義分割)、變化檢測、視頻追蹤、地學(xué)應(yīng)用等方面的進(jìn)展,提出遙感大模型的統(tǒng)一計(jì)算框架,即領(lǐng)域?qū)S玫纳疃葘W(xué)習(xí)框架與樣本庫、多模態(tài)地學(xué)領(lǐng)域知識的融合與微調(diào)、雙向人機(jī)反饋機(jī)制、質(zhì)量與可靠性評估、透明的下游應(yīng)用模型。基于該框架,課題組研發(fā)了具備28億參數(shù)的多模態(tài)-多任務(wù)的遙感大模型LuoJia.SmartSensing(珞珈.靈感)并在山東海陽東方航天港成功部署原型系統(tǒng)。
遙感通用大模型統(tǒng)一計(jì)算框架
據(jù)悉,LuoJiaNet智能遙感解譯團(tuán)隊(duì)在龔健雅院士、胡翔云教授指導(dǎo)下,由張覓副研究員負(fù)責(zé),系統(tǒng)地解決了遙感智能解譯大模型全棧自主可控的卡脖子問題。先后與華為公司合作建立了開源開放的LuoJiaNet深度學(xué)習(xí)框架與LuoJiaSet樣本庫;構(gòu)建了具有28億參數(shù)的LuoJia.SmartSensing遙感多模態(tài)-多任務(wù)大模型,并與百度公司合作在山東海陽東方航天港部署;構(gòu)建了面向數(shù)智教育的LuoJiaNet遙感AI實(shí)習(xí)實(shí)訓(xùn)平臺。相關(guān)成果在廣東省國土資源技術(shù)中心、廣州市城市規(guī)劃勘測設(shè)計(jì)研究院、浙江省測繪科學(xué)研究院等單位落地應(yīng)用。
上述研究成果的共同作者有張祖勛院士、胡翔云教授、博士生楊炳楠等,獲得了國家自然科學(xué)基金、教育部集成攻關(guān)大平臺、湖北省重點(diǎn)研發(fā)計(jì)劃、湖北珞珈實(shí)驗(yàn)室基金等項(xiàng)目的支持。