CAE解析

株式会社テラバイト

HyperWorks 統合CAEアプリケーションツールセット

  AnyBody 適用例

使用“AI姿势估计工具”MediaPipe进行手指动作的输入

AnyBody的人体模型中,实现了对手部细节的精细建模,直至指尖。 通过使用该模型,可以解析手部的精细动作,计算并输出各手指关节产生的力矩、关节反力以及肌肉发力大小等信息。

参考: AnyBody中的手部肌骨细节( Regensburg-Ulm Hand Model:RUHM)

为了在这个模型中重现并分析实际的手部动作,需要输入记录的动作信息。
记录动作信息的方法通常被称为动作捕捉,光学式动作捕捉和惯性式动作捕捉是众所周知的类型。这些动作捕捉技术各自具有高精度的动作测量能力、不受相机视线影响、即使有障碍物也能捕捉动作等优点,但它们需要测量设备和标记,因此对于获取轻松的动作不太适用。

例如,在光学式动作捕捉中,需要像下图那样将标记贴附在手指上,并需要多台摄像机来捕捉标点的动作。
歩行
Regensburg-Ulm Hand Model (RUHM) — AMMR v3.0.4 Documentation (anyscript.org)

如果我们的目标是测量和分析手部的轻微动作,那么使用人工智能(AI)从图像或视频中估计人体特征点位置的AI姿势估计来获取数据将是一个合适的选择。
参考: 使用AI姿势估计进行的骨骼肌肉骨骼分析
一些AI姿势估计方法可以提取手指的特征点。Google提供的“MediaPipe Solutions”也具备此功能。

关于MediaPipe Solutions

MediaPipe Solutions guide | Google AI Edge | Google AI for Developers

MediaPipe Solutions 是 Google 开发的开源跨平台机器学习框架,提供预训练模型、工具和API,支持实时处理多媒体任务(如人脸检测、手势识别、物体跟踪等),可部署于Android/iOS、桌面端及Web平台。


在本案例中,我们利用了“MediaPipe”来收集数据,并将其应用到AnyBody的手部精细模型上。
我们按照以下步骤操作:
①准备待分析的视频文件(MP4格式)。

歩行

②运行MediaPipe的姿势估计程序,提取手部的特征点,并将这些数据导出到CSV文件中。  
在视频中识别出手部形状后,可以将特征点的位置信息以CSV格式输出。

Hand landmarks detection guide | Google AI Edge | Google AI for Developers

歩行 歩行


③启动AnyBody并加载生成的CSV文件。下图中,CSV文件中记录的各个特征点以蓝色显示。
通过用黑色线条连接从手腕到指尖的相邻特征点,勾勒出手部的轮廓。
歩行


④使用特征点数据作为手部精细模型的约束条件进行骨骼肌肉分析。
在手部精细模型中为每个特征点设置相应的标记节点。
将每个特征点的位置信息作为约束输入到已设定的标记节点中,从而确定指尖的动作。
歩行

面临的挑战:
MediaPipe输出的是从图像或视频中估计出的特征点(关节中心)的3D位置数据。从手腕到指尖的相邻特征点之间的距离应相当于各手指骨的长度。因此,如果特征点估计准确,这个距离应保持不变。然而,MediaPipe的特征点估计结果并不总是稳定的。
例如,在本次分析中使用的视频里,各点之间的距离如图所示发生变化,并未显示出一致的数值。这可能是因为身体部分被遮挡、与其他物体重叠等情况导致估计精度降低。特别是视频后半部分出现的手指弯曲和伸展动作中,随着动作向画面深处发展,估计精度显著下降。
各特征点之间的距离
歩行

※開発元:AnyBody Technology A/S
Copyright © 2013 Terrabyte (Shanghai) Co.,Ltd.