一、研究背景

精準、連續(xù)、實時的手部與手指運動追蹤是空間計算、虛擬現(xiàn)實/增強現(xiàn)實（VR/AR）、智能機器人、靈巧假肢等人機交互系統(tǒng)的核心支撐技術。然而，現(xiàn)有主流方案均存在顯著局限：基于視覺相機的方法易受光照、遮擋、視角限制，佩戴笨重且難以適應日常場景；無相機方案中，應變傳感器與慣性傳感器需貼附手指關節(jié)，嚴重限制手部自然活動與觸覺感知；肌電（EMG）臂環(huán)雖免手持，但時空精度低，僅能識別少量預定義離散手勢，無法連續(xù)追蹤全自由度任意手部姿態(tài)。近年來，超聲傳感因能穿透體表感知肌腱與肌肉運動成為研究熱點，但現(xiàn)有超聲方案仍局限于少量自由度、預定義手勢，且難以克服佩戴位置偏移、運動偽影、模型泛化性差等實際難題，無法滿足日常動態(tài)場景下高精度、高魯棒、全自由度連續(xù)手部追蹤需求。因此，開發(fā)一種免手持、無遮擋、全自由度、抗位置偏移、可日常穿戴的高精度手部連續(xù)追蹤技術，對推動下一代自然直觀人機交互發(fā)展具有迫切意義。

二、研究亮點

1. 首次實現(xiàn)腕部超聲成像全自由度連續(xù)追蹤，僅通過腕部佩戴，即可實時、連續(xù)、定量追蹤手掌+五指共22個自由度（DOF）*的任意姿態(tài)，突破傳統(tǒng)EMG與單點超聲僅能識別離散手勢的限制。

2. 融合空間變換網(wǎng)絡（STN） 與Transformer–ResNet混合AI模型，顯著抵抗佩戴位置偏移、手臂運動、噪聲、遲滯與長時間漂移，跨一周使用仍保持高精度，無需頻繁重訓練。

3. 全集成可穿戴系統(tǒng)與超低延遲，構建256通道柔性腕戴式超聲成像設備，總重僅91.6 g，AI推理時延<9 ms，系統(tǒng)總延遲<120 ms，可直接用于實時VR控制與靈巧機器人手操控。

三、研究內(nèi)容

1. 可穿戴超聲腕帶系統(tǒng)研制

圖1｜技術對比與系統(tǒng)架構

a–c：傳統(tǒng)EMG僅能識別離散手勢，信號易受干擾。

d–g：本研究通過腕部超聲成像，直接解析22個自由度，實現(xiàn)連續(xù)姿態(tài)追蹤。

h–i：全集成無線超聲腕帶硬件架構與實物圖，包含超聲探頭、電路、電池、無線模塊。

設計256通道、10 MHz柔性超聲陣列，搭配柔性水凝膠耦合層與固定綁帶，實現(xiàn)腕部肌腱與肌肉高分辨率成像；集成無線傳輸、FPGA處理、供電模塊，形成全集成、輕量化、可長時間穿戴的硬件平臺。

2. AI算法架構設計

圖2｜22自由度解算原理

a：手腕超聲圖像分區(qū)對應五指+手掌22個自由度。

b–e：單個關節(jié)屈伸運動在超聲圖像中呈現(xiàn)特征性變化，AI可精準預測對應角度。

提出Transformer–ResNet（T–R）混合模型，嵌入空間變換網(wǎng)絡STN，從超聲圖像中直接回歸輸出22個關節(jié)角度，實現(xiàn)佩戴位置魯棒的端到端姿態(tài)解算。

3. 多維度性能驗證

圖3｜69種復雜手勢連續(xù)重建

a：覆蓋10個數(shù)字、26個字母、33種抓取類型的69類手勢。

b：系統(tǒng)可連續(xù)、平滑重建任意手勢及過渡姿態(tài)。

c：22個自由度平均RMSE僅3.78°，精度遠超同類無相機設備。

在8名不同腕圍受試者上開展測試，驗證22自由度追蹤精度、抗位置偏移、抗噪聲、抗遲滯/漂移、跨天穩(wěn)定性及手臂運動魯棒性。

4. 實際應用演示

圖4｜佩戴位置魯棒性

a：穿戴/摘取帶來平移與旋轉偏移是核心痛點。

b：不同佩戴位置下超聲圖像發(fā)生畸變。

c–d：混合T–R模型仍保持高精度，平均RMSE <6.62°，證明強實用性。

圖5｜VR交互應用

實現(xiàn) pinch 縮放、雙軸旋轉、前后平移等連續(xù)精細操控，可穩(wěn)定“懸停保持”，是EMG等傳統(tǒng)方案無法實現(xiàn)的功能。

 圖6｜機器人靈巧控制

實時控制機器人手完成桌面籃球投籃、鋼琴彈奏等精細任務，手指角度精準同步。

完成VR三維物體精細操控（縮放、旋轉、平移）與靈巧機器人手實時控制（桌面籃球、彈鋼琴），證明在真實人機交互場景的可用性。

四、總結與展望

本研究成功開發(fā)了一種基于腕部全斷面超聲成像的可穿戴免手持手部追蹤系統(tǒng)，通過256通道高分辨率超聲陣列采集腕部肌腱與肌肉動態(tài)圖像，并結合融合空間變換網(wǎng)絡的Transformer–ResNet混合AI模型，首次實現(xiàn)了手掌與五指22個自由度的連續(xù)、實時、高精度姿態(tài)解算，系統(tǒng)整體延遲低于120 ms，22個關節(jié)角平均追蹤誤差僅3.78°，同時具備優(yōu)異的抗佩戴位置偏移、抗噪聲、抗遲滯與抗漂移性能，并在虛擬現(xiàn)實精細交互與靈巧機器人手控制中完成直觀實時演示，全面超越現(xiàn)有相機式、肌電式、應變式及傳統(tǒng)超聲式手部追蹤方案，為無遮擋、免手持、高自由度、高魯棒的自然人機交互提供了全新技術路徑。盡管當前仍需針對個體進行標定訓練、跨用戶泛化能力有限，且系統(tǒng)微型化與功耗仍有優(yōu)化空間，但未來可通過構建大規(guī)?？鐐€體超聲數(shù)據(jù)集、結合聯(lián)邦學習與半監(jiān)督預訓練實現(xiàn)通用模型，進一步通過超聲芯片（ultrasound-on-chip）、自適應成像與壓縮感知實現(xiàn)硬件微型化與低功耗化，并可將該腕部成像策略拓展至肘部、肩部、下肢等部位，最終構建全身多節(jié)點超聲可穿戴網(wǎng)絡，實現(xiàn)日常場景下全身運動連續(xù)精準追蹤，廣泛應用于VR/AR、元宇宙、康復醫(yī)療、智能假肢、機器人遙控及數(shù)字健康監(jiān)測等重要領域。

文獻鏈接：https://www.nature.com/articles/s41928-026-01594-4