想要精確數(shù)據(jù)就得犧牲外觀,想要外觀就要犧牲精度?不!
將傳感器全部移至手臂,手指僅保留極細(xì)絲線(直徑0.1mm),實(shí)現(xiàn)了對(duì)手指關(guān)節(jié)運(yùn)動(dòng)的高精度(MAE 2.15°)、高魯棒性捕捉,同時(shí)最大限度保留了手部視覺(jué)外觀特征,為RGB圖像中的手部姿態(tài)自動(dòng)標(biāo)注提供了可靠方案。華中科技大學(xué)丁漢院士團(tuán)隊(duì)最新研究成果:基于線性電位器的細(xì)絲數(shù)據(jù)手套(FLiPo)用于精確標(biāo)注人類(lèi)手指姿勢(shì)。該研究通過(guò)獨(dú)特的傳感分離架構(gòu),為高精度手部姿態(tài)捕捉開(kāi)辟了新路徑。
基于線性電位器的細(xì)絲傳感方法,結(jié)合優(yōu)化的FK手部運(yùn)動(dòng)模型與FCNN網(wǎng)絡(luò)映射,F(xiàn)LiPo有效解決了當(dāng)前RGB手部姿勢(shì)標(biāo)注中對(duì)手部皮膚視覺(jué)特征遮擋嚴(yán)重、或引入干擾特征的難題。
其核心創(chuàng)新在于“傳感-執(zhí)行分離”的測(cè)量架構(gòu):傳統(tǒng)數(shù)據(jù)手套將傳感器集成在手指上,不可避免地造成遮擋;
而FLiPo利用直徑僅0.1mm的聚乙烯細(xì)絲作為傳動(dòng)介質(zhì),一端貼合手指關(guān)節(jié),另一端通過(guò)導(dǎo)管連接至手臂上的線性電位器。手指彎曲時(shí),細(xì)絲滑動(dòng)距離與關(guān)節(jié)角度呈線性關(guān)系,從而將測(cè)量環(huán)節(jié)全部外移,實(shí)現(xiàn)了對(duì)手部視覺(jué)特征的最大限度保留。
針對(duì)多關(guān)節(jié)耦合和皮膚軟組織形變帶來(lái)的非線性誤差,團(tuán)隊(duì)引入全連接神經(jīng)網(wǎng)絡(luò)進(jìn)行校正,使角度估計(jì)精度達(dá)到2.15°的平均絕對(duì)誤差。
這一研究成果來(lái)自華中科技大學(xué)智能制造裝備與技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室的丁漢院士、吳志剛教授團(tuán)隊(duì),相關(guān)論文以《Filament Sliding Linear Potentiometer-based Data Glove (FLiPo)for Precisely Annotating Human Finger Poses》為題,發(fā)表在機(jī)器人領(lǐng)域權(quán)威期刊《IEEE Robotics and Automation Letters》上,為高精度手部姿態(tài)捕捉提供了全新方案。
論文原文鏈接:https://ieeexplore.ieee.org/document/11303113
為全面評(píng)估FLiPo的測(cè)量精度、魯棒性與實(shí)時(shí)性,團(tuán)隊(duì)設(shè)計(jì)了一套“真值標(biāo)定+多場(chǎng)景測(cè)試+環(huán)境干擾實(shí)驗(yàn)”三位一體的驗(yàn)證方案:
首先構(gòu)建高精度數(shù)據(jù)集:邀請(qǐng)一位實(shí)驗(yàn)人員佩戴FLiPo,同時(shí)在手部關(guān)鍵骨骼位置粘貼反光標(biāo)記點(diǎn),利用元客視界FZMotion光學(xué)動(dòng)捕系統(tǒng)以200Hz同步采集細(xì)絲位移數(shù)據(jù)(FLiPo輸入)與關(guān)節(jié)角度真值。共采集100萬(wàn)幀數(shù)據(jù),其中92萬(wàn)幀用于訓(xùn)練神經(jīng)網(wǎng)絡(luò),8萬(wàn)幀作為測(cè)試集。
精度定量評(píng)估:將FLiPo估計(jì)的關(guān)節(jié)角度與FZMotion解算的真值進(jìn)行逐幀對(duì)比,計(jì)算20個(gè)關(guān)節(jié)的平均絕對(duì)誤差(MAE)。結(jié)果顯示兩者曲線高度重合,整體MAE僅2.15°,驗(yàn)證了映射模型的準(zhǔn)確性。
環(huán)境穩(wěn)定性測(cè)試:在高溫、高濕、強(qiáng)磁場(chǎng)干擾下測(cè)試傳感器讀數(shù)漂移,結(jié)果表明環(huán)境因素對(duì)測(cè)量的影響僅7.54‰,證明FLiPo具備優(yōu)異的抗干擾能力。
跨用戶(hù)適應(yīng)性:對(duì)第二位實(shí)驗(yàn)人員進(jìn)行輕量化微調(diào)訓(xùn)練,模型快速收斂,MAE達(dá)到2.45°,驗(yàn)證了方法的泛化能力。
實(shí)時(shí)應(yīng)用演示:開(kāi)展Kapandji測(cè)試、自由手勢(shì)識(shí)別、物體交互等動(dòng)態(tài)場(chǎng)景,F(xiàn)LiPo均能實(shí)時(shí)、穩(wěn)定地重建手部姿態(tài),尤其在手指自遮擋(如握拳、抓取物體)時(shí)仍保持高精度輸出,充分證明了其在復(fù)雜環(huán)境下的魯棒性?xún)?yōu)勢(shì)。
在整個(gè)驗(yàn)證體系中,元客FZMotion光學(xué)動(dòng)捕系統(tǒng)承擔(dān)了“真值驗(yàn)證”的關(guān)鍵角色:通過(guò)16臺(tái)紅外相機(jī)以200Hz頻率捕捉粘貼于手指骨節(jié)的反光標(biāo)記點(diǎn)三維坐標(biāo),并基于論文提出的改進(jìn)型正向運(yùn)動(dòng)學(xué)手部模型解算出20個(gè)關(guān)節(jié)的歐拉角,為神經(jīng)網(wǎng)絡(luò)訓(xùn)練和精度評(píng)估提供了可靠的ground truth。
吳志剛教授具身智能團(tuán)隊(duì)依托華中科技大學(xué)智能制造裝備與技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室,長(zhǎng)期致力于軟體機(jī)器人技術(shù)與傳統(tǒng)機(jī)器人系統(tǒng)的深度融合,開(kāi)發(fā)新一代人形機(jī)器人關(guān)鍵部件與智能系統(tǒng)。
團(tuán)隊(duì)研究方向涵蓋:
柔性靈巧手及數(shù)據(jù)手套:如本研究所發(fā)起的FLiPo系統(tǒng),面向高精度手部姿態(tài)捕捉與交互
靈巧抓取策略:結(jié)合視觸覺(jué)感知與強(qiáng)化學(xué)習(xí),提升機(jī)器人在復(fù)雜環(huán)境下的操作能力
柔性視觸覺(jué)傳感器:開(kāi)發(fā)高靈敏度、可穿戴的感知界面,為人機(jī)交互提供底層傳感支撐
未來(lái),團(tuán)隊(duì)將繼續(xù)深化在具身智能、人形機(jī)器人靈巧操作等領(lǐng)域的研究,而高精度運(yùn)動(dòng)捕捉系統(tǒng)(如FZMotion)在數(shù)據(jù)采集、算法驗(yàn)證、模型迭代等環(huán)節(jié)持續(xù)發(fā)揮關(guān)鍵支撐作用,為智能機(jī)器人“感知-決策-執(zhí)行”閉環(huán)提供可靠的數(shù)據(jù)基石。
往
期
精
彩
IROS 2025 | 上交大提出ICF-DO:一種面向舵輪機(jī)器人的魯棒分布式里程計(jì)
IROS 2025 | 清華大學(xué)半分布式相對(duì)定位框架:解決空地協(xié)同中有限帶寬條件下的準(zhǔn)確、靈活、高效的相對(duì)定位
全部評(píng)論(0條)
登錄或新用戶(hù)注冊(cè)
請(qǐng)用手機(jī)微信掃描下方二維碼
快速登錄或注冊(cè)新賬號(hào)
微信掃碼,手機(jī)電腦聯(lián)動(dòng)
PHO-SC-4
報(bào)價(jià):面議 已咨詢(xún) 0次
MYHA150-VR
報(bào)價(jià):面議 已咨詢(xún) 2次
SW-4000T-MCL
報(bào)價(jià):面議 已咨詢(xún) 3次
SF3500-CL04K-66C
報(bào)價(jià):面議 已咨詢(xún) 4次
ZIVA and ZIVA quattro Light Engines
報(bào)價(jià):面議 已咨詢(xún) 2次
SF8000-CX09K-500H
報(bào)價(jià):面議 已咨詢(xún) 2次
SW-2005TL-5GE
報(bào)價(jià):面議 已咨詢(xún) 1次
SF3000-CL04K-100M
報(bào)價(jià):面議 已咨詢(xún) 1次
①本文由儀器網(wǎng)入駐的作者或注冊(cè)的會(huì)員撰寫(xiě)并發(fā)布,觀點(diǎn)僅代表作者本人,不代表儀器網(wǎng)立場(chǎng)。若內(nèi)容侵犯到您的合法權(quán)益,請(qǐng)及時(shí)告訴,我們立即通知作者,并馬上刪除。
②凡本網(wǎng)注明"來(lái)源:儀器網(wǎng)"的所有作品,版權(quán)均屬于儀器網(wǎng),轉(zhuǎn)載時(shí)須經(jīng)本網(wǎng)同意,并請(qǐng)注明儀器網(wǎng)(m.sdczts.cn)。
③本網(wǎng)轉(zhuǎn)載并注明來(lái)源的作品,目的在于傳遞更多信息,并不代表本網(wǎng)贊同其觀點(diǎn)或證實(shí)其內(nèi)容的真實(shí)性,不承擔(dān)此類(lèi)作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。其他媒體、網(wǎng)站或個(gè)人從本網(wǎng)轉(zhuǎn)載時(shí),必須保留本網(wǎng)注明的作品來(lái)源,并自負(fù)版權(quán)等法律責(zé)任。
④若本站內(nèi)容侵犯到您的合法權(quán)益,請(qǐng)及時(shí)告訴,我們馬上修改或刪除。郵箱:hezou_yiqi
參與評(píng)論
登錄后參與評(píng)論