估计人类多指抓取过程中手与物体之间的接触区域

在开始实验之前，参与者必须根据机构指南和赫尔辛基宣言提供知情同意。此处描述的所有协议均已获得吉森Justus Liebig大学（LEK-FB06）当地伦理委员会的批准。 1. 安装所有必要的软件 在数据和代码存储库中下载项目存储库。 安装 材料表中 列出的软件（请注意软件版本，并按照链接获取购买选项和说明）。 在数据和代码存储库中，打开命令窗口，然后运行以下命令：conda env create -f environment.yml 按照 https://github.com/facebookresearch/DeepHandMesh 中提供的说明下载并安装预训练的 DeepHandMesh29 实例化。将 DeepHandMesh 放在数据和代码存储库的文件夹 “deephandmesh” 中。将文件“main/model.py”替换为数据和代码存储库中包含的 model.py 文件。 2. 准备动作捕捉系统 通过布置在工作区周围框架上的运动跟踪相机，将工作台放置在从多个角度成像的跟踪体积内（图1A）。通过将双面胶带连接到每个标记的底部来准备反光标记。 以管理员身份执行 Qualisys Track Manager （QTM）。注意：以管理员身份执行 QTM 对于 Python SDK 控制 QTM 接口是必要的。我们建议始终以管理员身份运行 QTM。 3. 校准相机 将L形校准对象置于跟踪体积内。 在 QTM 中，单击“捕获”菜单中的“校准”，或按“捕获”工具栏中的魔杖图标。 等待校准窗口打开。选择校准的持续时间，然后按OK。 在校准期间，在跟踪体积上挥动 校准棒 。按 “导出 ”按钮，并指定要将校准导出为文本文件的文件路径。按 OK接受校准。 4. 创建刺激对象 以多边形网格的形式构建虚拟 3D 对象模型。使用 3D 打印机构造对象模型的物理副本。注意：步骤 1.1 中的数据存储库提供了 STL 和波前 OBJ 文件格式的示例对象。STL格式的物体是多种多样的，可以进行3D打印。 5. 准备刺激对象 将四个非平面反射标记连接到真实物体的表面上。将对象放在跟踪体积内。 在项目存储库中，执行 Python 脚本“Acquire_Object.py”。按照脚本提供的说明对对象标记的 3D 位置执行 1 秒捕获。 选取刚体的所有标记。右键单击并选择 定义刚体 （6DOF） |当前帧。输入刚体的名称，然后按 确定。 在“文件”菜单中，选择“导出 |到TSV。在新窗口中，选中数据类型设置中的 3D、6D 和骨架框。选中常规设置中的所有框。按确定，然后保存。 6. 共同配准刺激对象的真实和网格模型版本 打开 Blender，然后导航到 “脚本” 工作区。打开文件“Object_CoRegistration.py”，然后按 运行。导航到 “布局” 工作区，然后按 n 切换边栏。在边栏中，导航到 “自定义 ”选项卡。 选择要共同注册的 .obj 文件，然后按 “加载对象 ”按钮。 选择在步骤 3.3 中输出的轨迹文件，并指定附着在刚性对象的标记的名称，以分号分隔。在 Marker 标头中，指定轨迹文件中包含数据列名称的行（计数从 0 开始）。 选择带有 6D 后缀的相应刚体文件，并指定在步骤 4.1 中定义的刚体的名称。在 6D 标头中，指定刚体文件中包含数据列名的行。 按 加载标记。平移并旋转 标记 对象和/或对象 对象 以对齐它们。指定网格输出文件，然后按 运行协同配准。这将输出一个 .obj 文件，其中包含共同注册的激励网格。 7. 在手上设置记号笔 使用双面胶带将 24 个球形反射标记贴在参与者手的不同地标上。注意：标记的具体定位如图 2所示。将标记物放在相应指尖的中央，以及食指、中指、无名指和小指的远端指间关节、近端指间关节和掌指关节。 对于拇指，在指尖和基底腕掌关节各放置一个标记，在掌指关节和指间关节上各放置一对标记。注意：这些标记对需要在垂直于拇指主轴的相反方向上位移，并且是估计拇指方向所必需的。 最后，将标记物放在手腕中央和舟状拖钓关节上。 图 2：参与者手上的标记放置。 缩写：RH = 右手。 请点击此处查看此图的大图。 8. 获得单一试用版 要求参与者将手平放在工作台上，手掌朝下并闭上眼睛。将刺激对象放在参与者面前的工作台上。 在 QTM 运行时，在项目存储库中执行 Python 脚本“Single_Trial_Acquisition.py”。按照脚本提供的说明捕获参与者抓住刺激对象的单个试验。注意：脚本将生成听觉提示。这将向参与者发出信号，让他们睁开眼睛并执行抓握。在我们的演示中，任务是到达并抓住目标物体，将其垂直提升约 10 厘米，将其放下，然后将手放回起始位置。 9. 标记标记 在 QTM 中，将单个标记轨迹从“ 未识别 轨迹”拖放到 “标记轨迹 ”，并根据 图 2 中的命名约定对其进行标记。 选择附着在手上的所有标记，然后右键单击并选择 从选择中生成AIM模型。在新窗口中，选择基于 现有AIM模型的标记连接创建新模型 ，然后按 下一步 按钮。 选择 RH_FH 模型定义，然后按 “打开”。按 下一步，输入 AIM 型号的名称，然后按 确定。最后，按 “完成 ”为参与者的手创建一个AIM模型，该模型将用于自动识别同一参与者的连续试验中的标记。 10. 为参与者创建个性化的骨架定义 在 QTM 中，导航到 “播放 ”菜单，然后选择“ 使用实时输出播放”。 打开玛雅。导航到 QTM 连接功能区，然后按连接到 QTM 图标。在新窗口中，选中标记，然后按连接。现在，按 QTM 连接功能架中的播放图标。 按住 Shift 键并选择所有手部标记，然后按 清洗定位器 图标。选择 洗手的 记号笔，然后按 按Ctrl + G。这将创建一个 组节点。将组命名 为标记。 选择所有手形标记。在“ 修改 ”菜单中，单击“ 搜索和替换名称”。搜索 RH_ 前缀，并删除标记的前缀。 按 QTM 连接功能架中的导入求解器图标。加载骨架定义“RH_FH.xml”。 在“ 窗口 ”菜单中，导航到 “常规编辑器 |命名空间编辑器。在新窗口中，单击 :(root），然后按 新建 以创建新的命名空间 RH。单击 RH 命名空间，按 “新建”，然后将新命名空间命名为 ModelPose。 选择所有标记，单击 RH 命名空间，然后按“添加选定项”将标记添加到 RH 命名空间。 选择骨架骨骼，单击“ 模型姿势 ”命名空间，然后按 “添加选定项 ”将骨架骨骼添加到 ModelPose 命名空间。 旋转、平移和缩放骨架以适合标记数据。接下来，对于每个骨架关节，分别选择 Shift + 选择骨架关节及其关联标记，然后按 添加附件 图标。最后，按 “导出求解” 图标将新的框架定义导出到可在 QTM 中加载的 XML 文件（请参阅下一步）。注意：此步骤并非绝对必要，但对于提高骨架拟合到标记数据的精度非常有用。有关详细信息，请阅读 QSolverQuickstartGuide on https://github.com/qualisys/QTM-Connect-For-Maya。 11.重建关节骨骼关节姿势 在 QTM 中，按 齿轮 图标打开项目设置。在边栏中，导航到 “骨架求解器”，然后按 Load 选择骨架定义文件。将 比例因子 调整为 100%，然后按 应用。 导航到 TSV 导出，然后选中数据类型设置中的 3D、6D 和骨架框。选中常规设置中的所有框。按应用，然后关闭项目设置。 按 重新处理图标，选中 求解骨架 和 导出到 TSV 文件框，然后按 确定。 12. 生成手部网格重建 在项目存储库中打开命令窗口，然后通过执行以下命令激活 conda 环境：康达激活联系人区域 然后，执行以下命令，并按照脚本提供的说明为试验的每一帧生成一个重建当前手部姿势的手网格。Python Hand_Mesh_Reconstruction.py –GPU 0 –test_epoch 4注意：这些网格重建是使用开源和预训练的手网格生成工具DeepHandMesh29的修改版本自动生成的。 13. 生成手-物体接触区域估计 在项目存储库中打开命令窗口，执行以下命令，然后按照脚本提供的说明，通过计算手和对象网格之间的交点来生成手和对象接触区域估计值。搅拌机 –背景 –蟒蛇 “Contact_Region_Estimation.py”