近期，廈門大學信息學院王程教授和溫程璐教授團隊，在激光雷達人體動作和場景捕捉領域取得重要進展，相關研究成果以“HiSC4D: Human-centered Interaction and 4D Scene Capture in Large-scale Space Using Wearable IMUs and LiDAR”為題發表在IEEE Transactions on Pattern Analysis and Machine Intelligence(DOI: 10.1109/TPAMI.2024.3457229)。
為適應開放的城市環境，智能體需要實時捕捉周邊人群的肢體動作和場景的結構。基于慣性傳感器和相機的傳統感知手段，分別存在長時間數據漂移和對光照及環境動態變化敏感等問題，難以滿足智能駕駛、服務機器人、體育訓練等應用領域對復雜環境人體動作和場景捕捉的需求。自2022年起，王程教授和溫程璐教授團隊在國際上首先提出了激光雷達(LiDAR)人體動捕技術(LiDARCap, CVPR 2022; HSC4D, CVPR 2022; Sloper4D, CVPR 2023)。在本次發表的成果HiSC4D中，團隊突破了在大規模室內外開放場景中，捕捉第一人稱視角下的多樣化雙人交互動作和三維場景的方法。該方法通過融合慣導和激光雷達數據，構建了多階段聯合優化框架，有效解決了慣導帶來的漂移問題，并顯著提升了場景重建精度，擴展了空間、人體動作和互動捕捉的范圍。同時發布了首個多模態雙人交互數據集，涵蓋不同場景類型和多樣化人體動作，為相關研究領域提供訓練數據資源。HiSC4D技術以激光雷達為核心傳感器，同時重建人體動作和三維場景，為具身智能走向廣闊戶外、融入人群開辟了新的思路。
該論文由戴雨笛博士生、王志勇碩士生、林希平碩士生在溫程璐教授、王程教授、沈思淇副教授、上海科技大學許嵐研究員、馬月昕研究員共同指導下完成。該研究工作得到了國家自然科學基金項目(62171393)等項目的支持。
