物体をつかむとき、指と手の複数の領域は通常、物体の表面に接触します。このような接触領域の再構築は困難です。本稿では,マーカベースのモーションキャプチャと既存の深層学習を用いたハンドメッシュ再構成を組み合わせることで,接触領域を近似推定する手法を提示する.
物体をうまくつかむには、物体の表面に対する手に適した接触領域を選択する必要があります。ただし、そのような地域を特定することは困難です。本稿では、マーカーベースのトラッキングデータから接触領域を推定するワークフローについて述べる。参加者は実際の物体をつかみ、指の関節を含む物体と手の両方の3D位置を追跡します。まず、手の甲に配置された追跡マーカーの選択から関節オイラー角を決定します。次に、最先端のハンドメッシュ再構成アルゴリズムを使用して、現在のポーズと3D位置での参加者の手のメッシュモデルを生成します。
3Dプリントまたは3Dスキャンされたオブジェクトを使用して、実際のオブジェクトとメッシュデータの両方として利用できるため、手とオブジェクトのメッシュを共同登録できます。これにより、ハンドメッシュと共同登録された3Dオブジェクトメッシュとの交点を計算することにより、おおよその接触領域を推定できます。この方法は、さまざまな条件下で人間がどこでどのように物体をつかむかを推定するために使用できます。したがって、この方法は、視覚および触覚知覚、運動制御、仮想現実および拡張現実における人間とコンピュータの相互作用、およびロボット工学を研究する研究者にとって興味深いものになる可能性があります。
物体をつかんで操作する能力は、人間が自分の欲求やニーズに合わせて環境を再形成できるようにする重要な能力です。しかし、多関節の手を効果的に制御することは、高度な制御システムを必要とする困難な作業です。このモータ制御システムは、いくつかの形態の感覚入力によって導かれますが、その中で視覚が最も重要です。視覚を通じて、個人は環境内の物体を識別し、それらの位置と物理的特性を推定し、それらの物体に簡単に到達、把握、操作することができます。網膜の入力と手を制御する運動指令を結びつける複雑なシステムを理解することは、感覚運動神経科学の重要な課題です。このシステムがどのように機能するかをモデル化、予測、および理解するには、まずそれを詳細に研究できる必要があります。これには、視覚入力とハンドモーター出力の両方の忠実度の高い測定が必要です。
過去のモーショントラッキング技術は、人間の把握の研究に多くの制限を課してきました。たとえば、参加者の手1,2にケーブルを接続する必要があるシステムでは、指の動きの範囲が制限される傾向があり、把持動作や測定値自体が変更される可能性があります。このような限界にもかかわらず、以前の研究では、視覚誘導把握に影響を与えるいくつかの要因を特定することができました。これらの要因のいくつかは、物体形状3、4、5、6、表面粗さ7、8、9、または手4、8、10に対する物体の向きを含む。しかし、以前の技術的限界を克服するために、この先行研究の大部分は単純な刺激と高度に制約されたタスクを採用しており、したがって、主に個々の要因3、4、6、7、10、2桁の精密グリップ3、4、6、9、11、12、 13、14、15、16、17、18、単一のオブジェクト19、または非常に単純な2D形状20、21。以前の発見が、そのような減少した人工的な実験室条件を超えてどのように一般化されるかは不明です。さらに、手と物体の接触の測定は、しばしば、数字の接触点22の推定に還元される。この単純化は、指先のみが物体と接触している把持の小さなサブセットを記述するのに適切であり得る。ただし、現実世界の把握の大部分では、指と手のひらの広範な領域がオブジェクトに接触します。さらに、最近の研究23は、触覚手袋を使用して、物体がそれらの表面が手にどのように衝突するかによって認識できることを実証した。これは、物体と指先との間の接触点だけでなく、手と把持される物体との間の拡張接触領域を研究することの重要性を強調する22。
モーションキャプチャと3Dハンドモデリングの最近の進歩により、以前の制限を超えて、その完全な複雑さで把握を研究することができました。パッシブマーカーベースのモーショントラッキングは、関節の動きを追跡するために参加者の手の甲に取り付けることができるミリメートルサイズのマーカーで利用可能になりました24。さらに、パッシブマーカシステムのための自動マーカ識別アルゴリズムは、マーカーデータの広範な手動後処理の必要性をほぼ排除するのに十分堅牢である25、26、27。マーカーレスソリューションは、ビデオ28で動物の体の部分を追跡する際にも印象的なレベルのパフォーマンスに達しています。したがって、これらのモーショントラッキング方法は、最終的に、複雑な複数桁の手の動きの信頼性の高い非侵襲的な測定を可能にする24。このような測定は、関節運動学について私たちに知らせ、手と物体の間の接触点を推定することを可能にします。さらに、近年、コンピュータビジョンコミュニティは、物体把持中および手の部分間の自己接触中にも軟組織の変形を再現できる人間の手のモデルを構築するという問題に取り組んでいる29,30,31,32。このような3Dメッシュ再構成は、ビデオ映像33、34、骨格関節(マーカベース35またはマーカレストラッキング36から導出)、および深度画像37などの異なるタイプのデータから導出することができる。このドメインにおける最初の重要な進歩は、さまざまなポーズの31人の被験者からの1,000を超えるハンドスキャンからパラメトリックハンドモデル(MANO)を導き出したRomeroら38によって提供されました。モデルには、手のポーズと形状の両方のパラメーターが含まれており、さまざまなデータソースから完全な手の再構築への回帰を容易にします。最近のDeepHandMesh29ソリューションは、ディープラーニングを通じてパラメータ化されたモデルを構築し、ハンドパーツ間の物理的な相互作用をより正確に再現する侵入回避を追加することで、このアプローチに基づいています。このようなハンドメッシュ再構成と3次元トラッキングオブジェクトメッシュを組み合わせることで、物体32の表面だけでなく、手の表面の接触領域を推定することが可能となった。
ここでは、オブジェクトと手の関節の忠実度の高い3D追跡と新しいハンドメッシュ再構成アルゴリズムを組み合わせたワークフローを提案します。この方法は、手と物体の接触面の詳細なマップを生成します。これらの測定は、感覚運動神経科学者が人間の視覚誘導把握の理論的理解を拡大するのに役立ちます。さらに、この方法は、隣接する分野の研究者にとって有用である可能性があります。たとえば、ヒューマンファクターの研究者は、この方法を使用して、仮想現実および拡張現実でより優れたヒューマンマシンインターフェイスシステムを構築することができます18。人間の把持行動の高忠実度測定は、ロボット工学者が対話的知覚の原理に基づいて人間に触発されたロボット把持システムを設計するのにも役立ちます39,40,41,42,43。したがって、この手法が、高度に制約されたタスクのまばらな記述から、複雑なオブジェクトや実世界のタスクでの自然主義的な把持行動のより完全な特徴付けまで、神経科学および工学分野にわたる把握研究を前進させるのに役立つと期待しています。全体的なアプローチの概要を図 1 に示します。
図1:提案手法の主なステップ 。 (A)モーションキャプチャカメラは、作業台を複数の角度から撮像します。(B)刺激オブジェクトは、三角メッシュモデルから3Dプリントされます。(C)4つの球面反射マーカーが実物体の表面に接着されています。半自動手順では、メッシュ オブジェクトの表面上の 4 つの対応する点を識別します。この対応により、メッシュモデルを実際のオブジェクトの3D追跡位置に回転変換できます。(D)反射マーカーは、両面テープを使用して参加者の手の甲のさまざまなランドマークに取り付けられます。(E)モーションキャプチャシステムは、1回の試行中に追跡対象物とハンドマーカーの3D空間内の軌跡を取得します。(F)参加者固有のハンドスケルトンは、3Dコンピュータグラフィックスソフトウェアを使用して構築されます。次に、骨格関節のポーズは、逆運動学による実験の各試行の各フレームについて推定されます。(G)関節ポーズはDeepHandMesh29の修正版に入力され、現在の3Dポーズと位置で推定された3Dハンドメッシュを出力します。(H)最後に、メッシュ交差を使用して、手とオブジェクトの接触領域を計算します。 この図の拡大版を表示するには、ここをクリックしてください。
本研究では,多桁把持時の手と物体の相互作用の接触領域を推定できる手法を提案する.手の表面全体を完全に追跡することは現在困難であるため、手のまばらなキーポイントによってポーズが決定されるハンドメッシュの再構成を使用することを提案します。これらのまばらなキーポイントを追跡するために、当社のソリューションは、パッシブマーカートラッキングに基づく研究グレードのモーションキャプチャシステムを採用しています。もちろん、提案手法では、十分に正確な3次元位置データが得られるため、他のモーションキャプチャシステムを採用することもできます。アクティブマーカーモーションキャプチャシステム(人気があるが廃止されたOptotrak Certusなど)は、参加者の手にケーブルや電子機器を取り付ける必要があり、参加者が自分の手のポーズをより意識的に認識するようになると、動きが制限されたり、少なくとも典型的な把握が少なくなったりする可能性があるため、お勧めしません。慣性測定ユニットを使用したモーショントラッキンググローブは、これらのシステムがドリフトに悩まされることが知られており、手の動きを制限し、手の表面が物体の表面に完全かつ直接接触することを許さない可能性がある。市販のマーカーレスハンドトラッキングソリューション(Leap Motion46,47,48など)も可能かもしれませんが、これらのシステムだけではオブジェクトの位置を追跡できない場合があります。研究グレードのモーションキャプチャシステムに代わる最も有望な選択肢は、オープンソースのマーカーレストラッキングソリューション(Mathis et al.28など)です。複数の共登録カメラ49と共に使用される場合、そのようなシステムは、マーカー、手袋、またはケーブルを必要とせずに、手関節位置および物体位置を3Dで追跡できる可能性がある。ただし、これらのソリューションとこのマーカーベースのシステムは、オクルージョンによるデータ損失の問題に悩まされる可能性があります。
制限と今後の方向性
この方法で得られた手の再構成は完全に正確ではないため、この方法を使用する実験の種類にはいくつかの制限があります。グラウンドトゥルースからのハンドメッシュ再構成の偏差は、推定された手と物体の接触領域の偏差として現れます。したがって、この方法を適用して絶対測度を導出するには、接触領域の推定値の忠実度を評価する必要があります。ただし、近似推定値であっても、この方法の潜在的な偏りが参加者内のさまざまな実験条件に同様の方法で影響を与える可能性があるため、参加者内の実験計画では依然として有用です。したがって、統計分析と推論は、効果の方向がそれぞれのグラウンドトゥルースと相関する条件間の接触面積の違いなどの測定に対してのみ実行する必要があります。今後の研究では、例えば、接触領域の推定値をサーモクロミック塗料で覆われた物体の熱指紋と比較するなど、私たちのアプローチをさらに検証する予定です。
データ収集から最終的な接触領域推定までのほとんどの処理ステップは完全に自動化されているため、手と物体の接触領域推定の標準化された手順に重要な貢献をします。ただし、個別化されたスケルトンをトラッキングされたマーカーの 3D 位置に最初にフィットさせるには、各参加者のスケルトン定義を取得するために手動で実行する必要があります。実験の参加者の数が増えると、手動調整の数も増えますが、これは現在、この手順の中で最も時間のかかる手順であり、Autodesk Maya ソフトウェアの手動リギングについてある程度精通している必要があります。将来的には、自動スケルトンキャリブレーション手順を追加することで、手順への人的影響を回避するために、このステップを自動化することを目指しています。
ここで説明するワークフローは、Qualisysのハードウェアとソフトウェア(QTMスケルトンソルバーなど)に依存しています。これにより、現在、同様のセットアップを持つラボへのメソッドのアクセシビリティが制限されています。しかしながら、原理的には、この方法は、モーションキャプチャデータの任意のソースに適用することができる。アクセシビリティを拡大するために、進行中の作業では、ワークフローを一般化し、特定のハードウェアおよびソフトウェアライセンスへの依存度を下げる代替案を模索しています。
この方法のもう1つの重要な制限は、現在の形式では、剛体(変形不可)オブジェクトにのみ適用できることです。将来的には、把持された物体が変形するにつれて表面形状を記録する方法を使用して、この制限を克服することができます。さらに、この方法はその近似的な性質のために、現在、非常に小さいまたは薄い物体にはあまり適していません。
結論として、最先端のモーショントラッキングと忠実度の高い手の表面モデリングを統合することにより、把持および操作中の手と物体の接触領域を推定する手法を提供します。今後の研究では、この手法をヒトの視覚誘導把持行動の調査・モデル化に展開していく予定です16。さらに、これらのツールをアイトラッキング46,50,51,52および仮想/拡張現実システム53,54,55と統合して、現実および仮想の自然主義的環境における視覚誘導された手と眼球運動の運動制御を調査することを計画しています18,46,56,57.これらの理由から、提案された方法は、仮想現実および拡張現実における触覚知覚58、運動制御、および人間とコンピュータの相互作用を研究する研究者にとって興味深いものになる可能性があります。最後に、人間の把持能力の正確な測定は、対話的知覚39,40,41,42,43の原理に基づく堅牢なロボットシステムの設計に情報を提供する可能性があり、上肢義肢の並訳アプリケーションを有する可能性がある。
The authors have nothing to disclose.
この研究は、ドイツ科学研究財団(DFG、ドイツ研究財団:プロジェクト番号222641018-SFB/TRR 135 TP C1およびIRTG-1901「行動中の脳」)と、ヘッセン高等教育科学研究芸術省のエクセレンスプログラムによって資金提供された研究クラスター「適応マインド」によって資金提供されました。著者らは、Mathias BankayとJeffrey Thingvoldを含むQualisysサポートチームに、私たちのメソッドの開発を支援してくれたことに感謝します。著者はまた、手のモデルを装ってくれたミカエラ・イェシュケにも感謝しています。原稿に提示された方法と結果を再現するためのすべてのデータと分析スクリプトは、Zenodo(doi:10.5281/zenodo.7458911)で入手できます。
Anaconda Python distribution | (Anaconda 5.3.1 or later); https://repo.anaconda.com/archive/ | scripts and functions were generated in Python version 3.7 | |
Autodesk Maya | Autodesk, Inc. | Maya2022; https://www.autodesk.com/products/maya/overview | 3D computer graphics application. |
Blender | Blender Foundation | Blender 2.92; https://download.blender.org/release/ | 3D computer graphics application. |
Computer Workstation | N/A | N/A | OS: Windows 10 or higher. |
DeepHandMesh | Meta Platforms, Inc. (Meta Open Source) | https://github.com/facebookresearch/DeepHandMesh | Pre-trained hand mesh generation tool. |
Miqus M5 | Qualisys Ab | https://www.qualisys.com/cameras/miqus/ | Passive marker motion tracking camera (8 units). |
Miqus video camera | Qualisys Ab | https://www.qualisys.com/cameras/miqus-video/ | Color video camera, synchronized with Miquis M5 tracking cameras (6 units). |
Project repository | N/A | Data and Code Repository | Data and code to replicate the current project. The repository is currently under construction, but we provide a private link where reviewers can download the current and most up-to-date version of the repository. The final repository will be made publicly available upon acceptance. |
Python 3 | Python Software Foundation | Python Version 3.7 | Python3 and associated built-in libraries. |
QTM Connect for Maya | Qualisys Ab | https://github.com/qualisys/QTM-Connect-For-Maya | Stream skeleton, rigid bodies and marker data from QTM to Maya |
QTM Qualisys Track Manager | Qualisys Ab | Qualisys Track Manager 2021.2; https://www.qualisys.com/software/qualisys-track-manager/ | Motion capture software |
Qualisys SDK for Python | Qualisys Ab | https://github.com/qualisys/qualisys_python_sdk | Implements communication between QTM and Python |