隨著數(shù)字世界的AI算法開始展現(xiàn)出逼近甚至超越人類的思維能力，具身智能有望打開AI從數(shù)字世界到物理世界的窗口，在復(fù)雜的物理世界中進(jìn)一步延伸和拓展AI邊界，實現(xiàn)“知行合一”。

現(xiàn)階段，光學(xué)運動捕捉技術(shù)憑借高精度、多模態(tài)數(shù)據(jù)采集等性能優(yōu)勢，已成為具身智能的核心數(shù)據(jù)采集與訓(xùn)練方式。然而，面對具身智能的環(huán)境感知與交互等需求，動捕數(shù)據(jù)需要進(jìn)一步增加“物理維度”，使其能夠與物理世界產(chǎn)生交互，并在交互中主動探索世界、認(rèn)知世界、改變世界。

南京大學(xué)曹汛教授團(tuán)隊聯(lián)合清華大學(xué)于濤副研究員團(tuán)隊在CVPR 2025發(fā)表的突破性研究成果《MotionPRO: Exploring the Role of Pressure in Human MoCap and Beyond》，創(chuàng)新性地在運動捕捉數(shù)據(jù)采集中引入壓力感知維度，將壓力感知范圍從足部擴(kuò)展到全身，提高了動作的穩(wěn)定性和精確性。同時，團(tuán)隊構(gòu)建了一個結(jié)合壓力、RGB和FZMotion光學(xué)運動捕捉系統(tǒng)的12.4萬幀大規(guī)模數(shù)據(jù)集MotionPRO，研究團(tuán)隊已開源數(shù)據(jù)集（鏈接見文章底部）。

研究團(tuán)隊搭建了包含四大組件的同步采集平臺：

團(tuán)隊召集從17-61歲、涵蓋不同體型的70名志愿者進(jìn)行了包含日常生活、傳統(tǒng)養(yǎng)生、有氧運動、柔韌性運動等5大類的400種動作，共采集12.4萬幀的多模態(tài)數(shù)據(jù)（包含SMPL模型參數(shù)、壓力分布圖、多視角視頻）。

為了增加動捕數(shù)據(jù)的物理合理性和全局軌跡精度，研究團(tuán)隊創(chuàng)新提出物理-視覺雙模態(tài)融合框架FRAPPE（Fuses RGB And Pressure for Pose Estimation），實現(xiàn)兩大核心技術(shù)突破：

團(tuán)隊采用小核卷積提取精細(xì)壓力特征，配合長短時注意力模塊（LSAM），僅憑壓力信號即可重構(gòu)合理全身姿態(tài)（MPJPE，90.6mm）和精確全局軌跡（GMPJPE，127.6mm）。實驗證明，壓力分布能準(zhǔn)確反映身體觸地部位與地面間接觸和力學(xué)關(guān)系，為動作合理性提供物理約束。

在傳統(tǒng)視覺分支基礎(chǔ)上，團(tuán)隊引入了正交投影約束與全身接觸約束，通過壓力特征引導(dǎo)視覺特征增強(qiáng)人體姿態(tài)估計的物理真實性。相比純視覺方法VIBE，全局姿態(tài)誤差降低30%（41.8mm vs 59.7mm）。特別是復(fù)雜接觸場景（如平板支撐）下，F(xiàn)RAPPE通過壓力信號準(zhǔn)確推斷下肢姿態(tài)，顯著提升了動作合理性。

為了進(jìn)一步驗證所提方法的物理合理性，團(tuán)隊?wèi)?yīng)用人形機(jī)器人NAO實體進(jìn)行了實物實驗。

如下圖所示，搭載FRAPPE算法的NAO機(jī)器人可完成動態(tài)平衡控制、復(fù)雜步態(tài)轉(zhuǎn)換和精細(xì)動作模仿等任務(wù)動作，機(jī)器人動作穩(wěn)定性和準(zhǔn)確度得到提升。

“當(dāng)運動捕捉系統(tǒng)真正理解’腳踏實地’的物理意義，我們離構(gòu)建虛實交融的智能世界就更近一步?！北疚闹校瑘F(tuán)隊不僅構(gòu)建了一個大規(guī)模多模態(tài)數(shù)據(jù)集MotionPRO，更通過所提算法FRAPPE增強(qiáng)了姿態(tài)和軌跡估計效果，實現(xiàn)人-機(jī)器人的亞毫米級精度還原。

未來，研究團(tuán)隊將進(jìn)一步研究基于壓力信號的人體全局姿態(tài)與軌跡估計；將持續(xù)深耕物理交互的本質(zhì)突破，通過FZMotion具身智能數(shù)據(jù)采集方案推動機(jī)器從被動執(zhí)行工具向主動感知、認(rèn)知與協(xié)作的“生命化載體”進(jìn)化，積極與行業(yè)客戶協(xié)作創(chuàng)新，共同探索具身智能前沿。

原文信息：