動作捕捉技術(shù)廣泛應(yīng)用于虛擬現(xiàn)實、人體工程學(xué)、醫(yī)療康復(fù)、影視制作等領(lǐng)域。基于慣性傳感器的方法由于對環(huán)境要求低、無遮擋問題，在捕捉大規(guī)模、復(fù)雜多人環(huán)境中的人體運動方面具有明顯優(yōu)勢，尤其是基于少量慣性測量單元的方法由于其簡單性和靈活性而具有更大的研究價值。但是，這類方法往往使用的是深度神經(jīng)網(wǎng)絡(luò)，會給設(shè)備帶來較大的計算負(fù)擔(dān)，提高此類方法的計算效率、減少延遲，并在便攜式終端上進行算法部署具有極大挑戰(zhàn)性。
 

　　針對以上問題，清華大學(xué)機械系智能制造與精密加工研究室研究人員提出了一種基于六個慣性傳感器的新算法結(jié)構(gòu)FIP(Fast Inertial Poser)，為便攜式終端的部署帶來了一種新的思路。該方法分為兩個階段，關(guān)節(jié)位置估計和運動學(xué)逆解。與之前的方法相比，該方法效率提升的主要原因為：第一，消除了額外的優(yōu)化設(shè)計；第二，基于“最小測量原則”，通過考慮人體形狀參數(shù)(身高、腿長、單臂長)和性別，使用運動學(xué)逆求解器和不同傳感器的共享模型來增強神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的表達能力；第三，去除RNN的雙向傳播機制。在位置估計階段，F(xiàn)IP使用三個獨立的循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)來估計葉節(jié)點和其余節(jié)點的位置。為了使模型推理過程更接近真實的物理過程，F(xiàn)IP使用傳感器共享積分RNN來估計葉節(jié)點的位置。此外，對于每個RNN，人體參數(shù)信息通過嵌入式編碼的方式輸入到算法網(wǎng)絡(luò)中。
 

圖1.FIP算法示意圖
 

　　網(wǎng)絡(luò)具體設(shè)計如圖2所示，主要使用的子模塊為單向循環(huán)網(wǎng)絡(luò)RNN和多層感知機MLP，通過將人體骨架信息輸入到不同的模塊形成人體形狀相關(guān)的約束，設(shè)計了一種基于人體運動樹的特殊逆運動學(xué)求解器，幫助模型求解當(dāng)前幀中關(guān)節(jié)的旋轉(zhuǎn)。
 

　　在基于開源數(shù)據(jù)集的實驗中顯示，F(xiàn)IP在保證重建精度的同時降低了動作重建的延遲和解算時間，在PC上的計算時間僅需要2.7毫秒/幀，在Nvidia NX2TX嵌入式開發(fā)板上能夠以15毫秒延遲和65FPS的幀率穩(wěn)定運行，為在移動終端的實時人體運動重建提供了一種全新的思路。
 

圖2. FIP算法Pipeline
 

　　相關(guān)研究成果以“基于稀疏傳感器考慮人體形狀快速重建人體運動”(Fast Human Motion reconstruction from sparse inertial measurement units considering the human shape)為題，于3月18日發(fā)表于《自然·通訊》(Nature Communications)雜志。
 

　　清華大學(xué)機械系碩士畢業(yè)生肖軒為論文第一作者，機械系教授張建富為論文通訊作者，機械系本科畢業(yè)生宮傲，機械系教授馮平法、副教授王健健、助理研究員張翔宇共同參與了研究工作。研究得到清華大學(xué)國強研究院項目的支持。《題圖設(shè)計：曾儀》