Estimation of Contact Regions Between Hands and Objects During Human Multi-Digit Grasping

Frieder Hartmann; Guido Maiello; Constantin A. Rothkopf; Roland W. Fleming

doi:10.3791/64877

JoVE Journal > Behavior

Please note that all translations are automatically generated. Click here for the English version.

Behavior

تقدير مناطق التلامس بين اليدين والأشياء أثناء الإمساك البشري متعدد الأرقام

Published: April 21, 2023

doi:

10.3791/64877

Frieder Hartmann¹, Guido Maiello¹, Constantin A. Rothkopf², Roland W. Fleming^1,3

¹Department of Experimental Psychology,Justus Liebig University Giessen, ²Institute of Psychology & Centre for Cognitive Science,Technical University of Darmstadt, ³Centre for Mind, Brain and Behaviour (CMBB),University of Marburg and Justus Liebig University Giessen

Summary

عندما نمسك بجسم ما، عادة ما تتلامس مناطق متعددة من الأصابع واليد مع سطح الجسم. إن إعادة بناء مناطق التماس هذه أمر صعب. هنا ، نقدم طريقة لتقدير مناطق الاتصال تقريبا من خلال الجمع بين التقاط الحركة القائم على العلامات وإعادة بناء شبكة اليد القائمة على التعلم العميق.

Abstract

للإمساك بجسم ما بنجاح ، يجب علينا تحديد مناطق التلامس المناسبة لأيدينا على سطح الجسم. ومع ذلك ، فإن تحديد مثل هذه المناطق يمثل تحديا. تصف هذه الورقة سير عمل لتقدير مناطق الاتصال من بيانات التتبع المستندة إلى العلامات. يمسك المشاركون بالأشياء الحقيقية ، بينما نتتبع موضع 3D لكل من الأشياء واليد ، بما في ذلك مفاصل الأصابع. نحدد أولا زوايا أويلر المشتركة من مجموعة مختارة من العلامات المجنزرة الموضوعة على ظهر اليد. بعد ذلك ، نستخدم خوارزميات إعادة بناء شبكة اليد الحديثة لإنشاء نموذج شبكي ليد المشارك في الوضع الحالي وموضع 3D.

إن استخدام الكائنات التي تم طباعتها ثلاثية الأبعاد أو مسحها ضوئيا ثلاثية الأبعاد – وبالتالي فهي متاحة ككائنات حقيقية وبيانات شبكية – يسمح بتسجيل شبكات اليد والكائن بشكل مشترك. وهذا بدوره يسمح بتقدير مناطق الاتصال التقريبية عن طريق حساب التقاطعات بين شبكة اليد وشبكة الكائن 3D المسجلة بشكل مشترك. يمكن استخدام هذه الطريقة لتقدير أين وكيف يمسك البشر بالأشياء في ظل مجموعة متنوعة من الظروف. لذلك ، يمكن أن تكون الطريقة ذات أهمية للباحثين الذين يدرسون الإدراك البصري واللمسي ، والتحكم في المحركات ، والتفاعل بين الإنسان والحاسوب في الواقع الافتراضي والمعزز ، والروبوتات.

Introduction

القدرة على فهم الأشياء والتلاعب بها هي قدرة أساسية تسمح للبشر بإعادة تشكيل البيئة وفقا لرغباتهم واحتياجاتهم. ومع ذلك ، فإن التحكم في الأيدي متعددة المفاصل بشكل فعال مهمة صعبة تتطلب نظام تحكم متطور. يسترشد نظام التحكم في المحرك هذا بعدة أشكال من المدخلات الحسية ، من بينها الرؤية ذات أهمية قصوى. من خلال الرؤية ، يمكن للأفراد تحديد الأشياء في البيئة وتقدير موقعها وخصائصها الفيزيائية ويمكنهم بعد ذلك الوصول إلى تلك الأشياء وفهمها ومعالجتها بسهولة. يعد فهم النظام المعقد الذي يربط المدخلات في شبكية العين بالأوامر الحركية التي تتحكم في اليدين تحديا رئيسيا لعلم الأعصاب الحسي الحركي. لنمذجة هذا النظام والتنبؤ به وفهمه ، يجب أن نكون قادرين أولا على دراسته بالتفصيل. وهذا يتطلب قياسات عالية الدقة لكل من المدخلات المرئية ومخرجات المحرك اليدوي.

فرضت تقنية تتبع الحركة السابقة عددا من القيود على دراسة الإمساك البشري. على سبيل المثال ، تميل الأنظمة التي تتطلب كابلات متصلة بأيدي المشاركين ^1,2 إلى تقييد نطاق حركات الأصابع ، مما قد يؤدي إلى تغيير حركات الإمساك أو القياسات نفسها. على الرغم من هذه القيود ، تمكنت الأبحاث السابقة من تحديد العديد من العوامل التي تؤثر على الإمساك الموجه بصريا. تتضمن بعض هذه العوامل شكل الكائن³،4،⁵،⁶ ، وخشونة السطح⁷،8،⁹ ، أو اتجاه الجسم بالنسبة إلى اليد ⁴،⁸^،¹⁰. ومع ذلك ، للتغلب على القيود التكنولوجية السابقة ، استخدمت غالبية هذه الأبحاث السابقة محفزات بسيطة ومهام مقيدة للغاية ، وبالتالي ركزت في الغالب على العوامل الفردية 3،4،6،⁷،10 ، مقابض دقيقة مكونة من رقمين ³،⁴،⁶،⁹،¹¹،¹² ^، 13،¹⁴،15،¹⁶،¹⁷^،¹⁸ ، كائنات مفردة¹⁹ ، أو أشكال ثنائية الأبعاد بسيطة للغاية²⁰،²¹. كيف تعمم النتائج السابقة إلى ما وراء هذه الظروف المعملية المخفضة والاصطناعية غير معروفة. بالإضافة إلى ذلك ، غالبا ما يتم تقليل قياس ملامسة اليد والجسم إلى تقدير نقاط الاتصال الرقمية²². قد يكون هذا التبسيط مناسبا لوصف مجموعة فرعية صغيرة من القبضات التي تكون فيها أطراف الأصابع فقط على اتصال بشيء ما. ومع ذلك ، في غالبية عمليات الإمساك في العالم الحقيقي ، تتلامس مناطق واسعة من الأصابع وراحة اليد مع جسم ما. علاوة على ذلك ، أظهرت دراسة حديثة²³ ، باستخدام قفاز لمسي ، أنه يمكن التعرف على الأشياء من خلال كيفية اصطدام سطحها باليد. هذا يسلط الضوء على أهمية دراسة مناطق الاتصال الممتدة بين اليدين والأشياء التي تم الإمساك بها ، وليس فقط نقاط الاتصال بين الأشياء وأطراف الأصابع²².

سمحت لنا التطورات الحديثة في التقاط الحركة ونمذجة اليد 3D بتجاوز القيود السابقة ودراسة الإمساك بتعقيدها الكامل. يتوفر الآن تتبع الحركة القائم على العلامات السلبية مع علامات بحجم المليمتر يمكن تثبيتها على الجزء الخلفي من يدي المشارك لتتبع حركات المفاصل²⁴. علاوة على ذلك ، أصبحت خوارزميات تحديد العلامات التلقائية لأنظمة العلامات السلبية قوية الآن بما يكفي للتخلص تقريبا من الحاجة إلى المعالجة اليدوية الشاملة لبيانات العلامات²⁵،²⁶^،²⁷. تصل الحلول الخالية من العلامات أيضا إلى مستويات رائعة من الأداء في تتبع أجزاء جسم الحيوان في مقاطع الفيديو²⁸. وبالتالي ، فإن طرق تتبع الحركة هذه تسمح أخيرا بإجراء قياسات موثوقة وغير جراحية لحركات اليد المعقدة متعددة الأرقام²⁴. يمكن أن تخبرنا هذه القياسات عن حركية المفاصل وتمكننا من تقدير نقاط الاتصال بين اليد والجسم. بالإضافة إلى ذلك ، في السنوات الأخيرة ، كان مجتمع رؤية الكمبيوتر يعالج مشكلة بناء نماذج للأيدي البشرية يمكنها تكرار تشوهات الأنسجة الرخوة أثناء الإمساك بالأشياء وحتى أثناء الاتصال الذاتي بين أجزاء اليد²⁹،³⁰،³¹^،³². يمكن اشتقاق عمليات إعادة بناء الشبكة ثلاثية الأبعاد هذه من أنواع مختلفة من البيانات ، مثل لقطات الفيديو ^33,34 ، والمفاصل الهيكلية (المستمدة من 35 القائمة على العلامات أو التتبع^{بدون علامات 36}) ، وصور العمق ³⁷. تم تقديم أول تقدم رئيسي في هذا المجال من قبل Romero et al.38 ، الذي اشتق نموذج اليد البارامترية (MANO) من أكثر من 1000 مسح يدوي من ³¹ شخصا في أوضاع مختلفة. يحتوي النموذج على معلمات لكل من وضع وشكل اليد ، مما يسهل الانحدار من مصادر البيانات المختلفة إلى إعادة بناء اليد بالكامل. يعتمد حل DeepHandMesh²⁹ الأحدث على هذا النهج من خلال بناء نموذج معلمات من خلال التعلم العميق وإضافة تجنب الاختراق ، والذي يكرر التفاعلات المادية بين أجزاء اليد بشكل أكثر دقة. من خلال الجمع بين عمليات إعادة بناء شبكة اليد هذه مع شبكات الكائنات المجنزرة ثلاثية الأبعاد ، أصبح من الممكن الآن تقدير مناطق الاتصال ليس فقط على سطح الكائنات³² ولكن أيضا على سطح اليد.

هنا ، نقترح سير عمل يجمع بين تتبع 3D عالي الدقة للأشياء ومفاصل اليد مع خوارزميات إعادة بناء شبكة اليد الجديدة. تنتج الطريقة خرائط مفصلة لأسطح ملامسة اليد والأشياء. ستساعد هذه القياسات علماء الأعصاب الحسية الحركية في توسيع فهمنا النظري للإمساك البشري الموجه بصريا. علاوة على ذلك ، يمكن أن تكون الطريقة مفيدة للباحثين في المجالات المجاورة. على سبيل المثال ، قد يستخدم باحثو العوامل البشرية هذه الطريقة لبناء أنظمة واجهة أفضل بين الإنسان والآلة في الواقع الافتراضي والمعزز¹⁸. يمكن أن تساعد القياسات عالية الدقة لسلوكيات الإمساك البشري أيضا علماء الروبوتات في تصميم أنظمة استيعاب روبوتية مستوحاة من الإنسان بناء على مبادئ الإدراك التفاعلي³⁹،⁴⁰،⁴¹،⁴²^،⁴³. وبالتالي، نأمل أن تساعد هذه الطريقة في تطوير أبحاث الاستيعاب عبر مجالات علم الأعصاب والهندسة من الأوصاف المتفرقة للمهام المقيدة للغاية إلى التوصيف الكامل لسلوكيات الإمساك الطبيعية بالأشياء المعقدة ومهام العالم الحقيقي. ويرد النهج العام في الشكل 1.

الشكل 1: الخطوات الرئيسية في الطريقة المقترحة . (أ) تصور كاميرات التقاط الحركة طاولة عمل من زوايا متعددة. (ب) جسم مثير مطبوع ثلاثي الأبعاد من نموذج شبكي مثلث. (ج) أربع علامات عاكسة كروية ملتصقة بسطح الجسم الحقيقي. يحدد الإجراء شبه الآلي أربع نقاط مقابلة على سطح كائن الشبكة. تسمح لنا هذه المراسلات بترجمة نموذج الشبكة إلى الموضع المتعقب 3D للكائن الحقيقي. (د) تعلق علامات عاكسة على معالم مختلفة على ظهر يد المشارك باستخدام شريط لاصق على الوجهين. (E) يكتسب نظام التقاط الحركة المسارات في الفضاء 3D للجسم المتعقب وعلامات اليد خلال تجربة واحدة. (F) يتم إنشاء هيكل عظمي لليد خاص بالمشارك باستخدام برنامج رسومات الكمبيوتر 3D. ثم يتم تقدير أوضاع المفصل الهيكلي لكل إطار من كل تجربة في تجربة من خلال الحركية العكسية. (ز) أوضاع المفاصل هي مدخلات لنسخة معدلة من DeepHandMesh²⁹ ، والتي تنتج شبكة يدوية ثلاثية الأبعاد تقديرية في الوضع والموضع ثلاثي الأبعاد الحالي. (H) أخيرا ، نستخدم تقاطع الشبكة لحساب مناطق ملامسة اليد والجسم. يرجى النقر هنا لعرض نسخة أكبر من هذا الرقم.

Protocol

قبل البدء في التجربة، يجب على المشاركين تقديم موافقة مستنيرة وفقا للمبادئ التوجيهية المؤسسية وإعلان هلسنكي. تمت الموافقة على جميع البروتوكولات الموضحة هنا من قبل لجنة الأخلاقيات المحلية بجامعة Justus Liebig Giessen (LEK-FB06). 1. تثبيت جميع البرامج اللازمة قم بتنزيل مستودع المشروع في مستودع البيانات والتعليمات البرمجية. قم بتثبيت البرنامج المدرج في جدول المواد (لاحظ إصدارات البرنامج واتبع الروابط الخاصة بخيارات الشراء والتعليمات). ضمن مستودع البيانات والتعليمات البرمجية، افتح نافذة أوامر، وقم بتشغيل الأمر التالي:conda env create -f environment.yml قم بتنزيل وتثبيت مثيل DeepHandMesh29 الذي تم اختباره مسبقا باتباع الإرشادات الواردة في https://github.com/facebookresearch/DeepHandMesh.ضع DeepHandMesh في المجلد “deephandmesh” الخاص بمستودع البيانات والتعليمات البرمجية. استبدل الملف “main/model.py” بالملف model.py الموجود في مستودع البيانات والتعليمات البرمجية. 2. إعداد نظام التقاط الحركة ضع طاولة عمل داخل وحدة تخزين تتبع تم تصويرها من زوايا متعددة بواسطة كاميرات تتبع الحركة مرتبة على إطار يحيط بمساحة العمل (الشكل 1 أ). قم بإعداد علامات عاكسة عن طريق ربط شريط لاصق على الوجهين بقاعدة كل علامة. تنفيذ Qualisys مدير المسار (QTM) كمسؤول.ملاحظة: يعد تنفيذ QTM كمسؤول ضروريا ل Python SDK للتحكم في واجهة QTM. ننصح دائما بتشغيل QTM كمسؤول. 3. معايرة الكاميرات ضع كائن المعايرة على شكل حرف L داخل وحدة تخزين التتبع. داخل QTM ، انقر فوق معايرة في قائمة الالتقاط ، أو اضغط على أيقونة العصا في شريط أدوات الالتقاط . انتظر حتى تفتح نافذة المعايرة . حدد مدة المعايرة، ثم اضغط على موافق. قم بتحريك عصا المعايرة عبر مستوى صوت التتبع طوال مدة المعايرة. اضغط على الزر تصدير ، وحدد مسار ملف لتصدير المعايرة كملف نصي. اقبل المعايرة بالضغط على موافق. 4. إنشاء كائن التحفيز بناء نموذج كائن 3D الظاهري في شكل شبكة مضلع. استخدم طابعة 3D لإنشاء نسخة طبق الأصل مادية من نموذج الكائن.ملاحظة: يوفر مستودع البيانات في الخطوة 1.1 أمثلة على الكائنات بتنسيقات ملفات STL و Wavefront OBJ. الكائنات بتنسيق STL متعددة وجاهزة للطباعة 3D. 5. إعداد كائن التحفيز قم بتوصيل أربع علامات عاكسة غير مستوية بسطح الكائن الحقيقي. ضع الكائن داخل وحدة تخزين التتبع. في مستودع المشروع ، قم بتنفيذ البرنامج النصي Python “Acquire_Object.py”. اتبع الإرشادات التي يوفرها البرنامج النصي لإجراء التقاط 1 ثانية لموضع 3D لعلامات الكائن. حدد جميع علامات الجسم الصلب. انقر بزر الماوس الأيمن وحدد تعريف الجسم الصلب (6DOF) | الإطار الحالي. أدخل اسم الجسم الصلب، ثم اضغط على موافق. في القائمة ملف ، حدد تصدير | إلى TSV. في النافذة الجديدة ، حدد المربعات 3D و 6D و Skeleton في إعدادات نوع البيانات . حدد جميع المربعات في الإعدادات العامة . اضغط على موافق ثم حفظ. 6. المشاركة في تسجيل إصدارات النموذج الحقيقي والشبكي لكائن التحفيز افتح Blender ، وانتقل إلى مساحة عمل البرمجة النصية . افتح الملف “Object_CoRegistration.py” ، واضغط على تشغيل. انتقل إلى مساحة عمل التخطيط ، واضغط على n لتبديل الشريط الجانبي. داخل الشريط الجانبي، انتقل إلى علامة التبويب مخصص . حدد ملف .obj ليتم تسجيله بشكل مشترك ، واضغط على الزر تحميل كائن . حدد ملف المسار الذي تم تصديره في الخطوة 3.3، وحدد أسماء العلامات المرفقة بالكائن الجامد مفصولة بفواصل منقوطة. في رأس العلامة ، حدد السطر في ملف المسار الذي يحتوي على أسماء أعمدة البيانات (يبدأ العد عند 0). حدد ملف الجسم الصلب المقابل باستخدام اللاحقة 6D ، وحدد اسم الجسم الصلب المحدد في الخطوة 4.1. في رأس 6D ، حدد السطر في ملف النص الأساسي الصلب الذي يحتوي على أسماء أعمدة البيانات. اضغط على علامات التحميل. ترجمة وتدوير كائن العلامات و/ أو كائن الكائن لمحاذاتهما. حدد ملف إخراج شبكة، واضغط على تشغيل التسجيل المشترك. سيؤدي هذا إلى إخراج ملف .obj يحتوي على شبكة التحفيز المسجلة بشكل مشترك. 7. وضع علامات على اليدين قم بإرفاق 24 علامة عاكسة كروية على معالم مختلفة ليد المشارك باستخدام شريط على الوجهين.ملاحظة: يوضح الشكل 2 الموضع المحدد للعلامات.ضع العلامات مركزيا أعلى أطراف الأصابع المعنية ، بالإضافة إلى المفاصل بين السلامية البعيدة ، والمفاصل بين السلامية القريبة ، والمفاصل المشطية الوعائية لإصبع السبابة والإصبع الأوسط والبنصر والإصبع الصغير. بالنسبة للإبهام ، ضع علامة واحدة على كل من طرف الإصبع والمفصل الرسغي القاعدي ، بالإضافة إلى زوج من العلامات على كل من المفاصل المشطية والسلامية.ملاحظة: يجب إزاحة أزواج العلامات هذه في اتجاهين متعاكسين عموديا على المحور الرئيسي للإبهام وهي ضرورية لتقدير اتجاه الإبهام. أخيرا ، ضع علامات في وسط الرسغ وعلى المفصل الكتفي المفصلي. الشكل 2: وضع علامة على يد المشارك. اختصار: RH = اليد اليمنى. يرجى النقر هنا لعرض نسخة أكبر من هذا الرقم. 8. الحصول على نسخة تجريبية واحدة اطلب من المشارك وضع يده بشكل مسطح على طاولة العمل مع توجيه راحة اليد لأسفل وإغلاق عينيه. ضع كائن التحفيز على طاولة العمل أمام المشارك. أثناء تشغيل QTM ، قم بتنفيذ البرنامج النصي Python “Single_Trial_Acquisition.py” في مستودع المشروع. اتبع التعليمات التي يوفرها البرنامج النصي لالتقاط تجربة واحدة للمشارك الذي يمسك بكائن التحفيز.ملاحظة: سينتج البرنامج النصي إشارة سمعية. سيشير هذا إلى المشارك لفتح أعينهم وتنفيذ القبض. في عروضنا التوضيحية ، تتمثل المهمة في الوصول إلى الكائن المستهدف والإمساك به ، ورفعه عموديا بمقدار 10 سم تقريبا ، ووضعه لأسفل ، وإعادة اليد إلى موضع البداية. 9. وضع العلامات على العلامات داخل QTM ، قم بسحب وإسقاط مسارات العلامة الفردية من مسارات غير محددة إلى مسارات مسماة ، وقم بتسميتها وفقا لاصطلاح التسمية في الشكل 2. حدد جميع العلامات المرفقة باليد ، وانقر بزر الماوس الأيمن وحدد إنشاء نموذج AIM من التحديد. في النافذة الجديدة ، حدد إنشاء نموذج جديد بناء على اتصالات Marker من طراز AIM الحالي واضغط على زر التالي . حدد تعريف الطراز RH_FH ، واضغط على فتح. اضغط على التالي، وأدخل اسما لطراز AIM، ثم اضغط على موافق. أخيرا ، اضغط على إنهاء لإنشاء نموذج AIM ليد المشارك ، والذي سيتم استخدامه لتحديد العلامات تلقائيا في التجارب المتتالية من نفس المشارك. 10. إنشاء تعريف هيكل عظمي شخصي للمشارك في QTM ، انتقل إلى قائمة التشغيل ، وحدد اللعب باستخدام الإخراج في الوقت الفعلي. افتح مايا. انتقل إلى رف QTM Connect، واضغط على أيقونة الاتصال ب QTM. في النافذة الجديدة ، تحقق من العلامات ، واضغط على اتصال. الآن ، اضغط على أيقونة التشغيل في رف QTM Connect. حدد مع الضغط على مفتاح العالي جميع علامات اليد واضغط على أيقونة محددات الغسيل . حدد علامات اليد المغسولة ، واضغط على Ctrl + G. سيؤدي هذا إلى إنشاء عقدة مجموعة. قم بتسمية المجموعة علامات. حدد جميع علامات اليد. في القائمة تعديل ، انقر فوق بحث واستبدال الأسماء. ابحث عن البادئة RH_ ، واحذف بادئة العلامات. اضغط على أيقونة استيراد أداة حل الاستيراد في رف QTM Connect . قم بتحميل تعريف الهيكل العظمي “RH_FH.xml”. في قائمة Windows ، انتقل إلى المحررين العامين | محرر مساحة الاسم. داخل النافذة الجديدة ، انقر فوق :(root) ، واضغط على جديد لإنشاء مساحة اسم جديدة ، RH. انقر فوق مساحة اسم RH ، واضغط على جديد ، وقم بتسمية مساحة الاسم الجديدة ModelPose. حدد جميع العلامات ، وانقر فوق مساحة اسم RH ، واضغط على إضافة محدد لإضافة العلامات إلى مساحة اسم RH . حدد عظام الهيكل العظمي ، وانقر فوق مساحة اسم ModelPose ، واضغط على إضافة محدد لإضافة عظام الهيكل العظمي إلى مساحة اسم ModelPos . قم بتدوير الهيكل العظمي وترجمته وقياسه ليلائم بيانات العلامة. بعد ذلك ، لكل مفصل هيكلي على حدة ، Shift + حدد مفصل الهيكل العظمي والعلامات المرتبطة به ، واضغط على أيقونة إضافة مرفقات . أخيرا ، اضغط على أيقونة Export Solver لتصدير تعريف الهيكل العظمي الجديد إلى ملف XML يمكن تحميله في QTM (انظر الخطوة التالية).ملاحظة: هذه الخطوة ليست ضرورية تماما ، ولكنها مفيدة لزيادة دقة الهيكل العظمي المناسب لبيانات العلامة. اقرأ دليل QSolverQuickstart على https://github.com/qualisys/QTM-Connect-For-Maya لمزيد من المعلومات. 11. إعادة بناء المفصل الهيكلي المشترك داخل QTM ، افتح إعدادات المشروع بالضغط على أيقونة عجلة التروس . في الشريط الجانبي، انتقل إلى Skeleton Solver، واضغط على تحميل لتحديد ملف تعريف هيكلي. اضبط عامل المقياس على 100٪، واضغط على تطبيق. انتقل إلى تصدير TSV ، وحدد المربعات 3D و 6D والهيكل العظمي في إعدادات نوع البيانات . حدد جميع المربعات في الإعدادات العامة . اضغط على تطبيق، وأغلق إعدادات المشروع. اضغط على إعادة المعالجة رمز ، حدد المربعات حل الهياكل العظمية والتصدير إلى ملف TSV، واضغط على موافق. 12. توليد إعادة بناء شبكة اليد افتح نافذة أوامر في مستودع المشروع ، وقم بتنشيط بيئة conda عن طريق تنفيذ الأمر:كوندا تنشيط مناطق الاتصال بعد ذلك ، قم بتنفيذ الأمر التالي ، واتبع الإرشادات التي يوفرها البرنامج النصي لإنشاء ، لكل إطار من الإصدار التجريبي ، شبكة يدوية تعيد بناء وضع اليد الحالي.Hand_Mesh_Reconstruction.py بايثون –GPU 0 –test_epoch 4ملاحظة: يتم إنشاء عمليات إعادة بناء الشبكة هذه تلقائيا باستخدام نسخة معدلة من أداة توليد الشبكات اليدوية مفتوحة المصدر والمدربة مسبقا ، DeepHandMesh29. 13. توليد تقديرات منطقة ملامسة اليد والأشياء افتح نافذة أوامر في مستودع المشروع ، وقم بتنفيذ الأمر التالي ، واتبع الإرشادات التي يوفرها البرنامج النصي لإنشاء تقديرات منطقة اتصال اليد والكائن عن طريق حساب التقاطع بين شبكات اليد والكائن.خلاط – الخلفية – بايثون “Contact_Region_Estimation.py”

Representative Results

الشرط الأول للطريقة المقترحة هو نظام لتتبع موضع كائنات 3D واليدين بدقة. يظهر الإعداد المحدد في الشكل 1A ويستخدم الأجهزة والبرامج التي تنتجها شركة التقاط الحركة Qualisys. نضع طاولة عمل داخل حجم تتبع (100 سم × 100 سم × 100 سم) ، والتي يتم تصويرها من زوايا متعددة بواسطة ثماني كاميرات تتبع وست كاميرات فيديو مرتبة على إطار مكعب يحيط بمساحة العمل. تتعقب كاميرات التتبع موضع 3D للعلامات العاكسة داخل حجم التتبع عند 180 إطارا / ثانية وبدقة مكانية ثلاثية الأبعاد دون المليمتر. نحن نستخدم علامات عاكسة 4 مم ، والتي يتم تثبيتها على الأشياء واليدين باستخدام شريط لاصق على الوجهين صديق للبشرة. تتم معالجة مواقف علامة 3D بواسطة برنامج التقاط الحركة. يستعرض قسم المناقشة أيضا أنظمة التقاط الحركة البديلة التي يمكن استخدامها مع الطريقة المقترحة. للحصول على إعادة بناء 3D دقيقة للأشياء الحقيقية التي يتم فهمها والتلاعب بها ، نقترح خيارين. الأول ، وهو الذي تم تبنيه هنا ، هو البدء من نموذج كائن 3D افتراضي في شكل شبكة مضلعة. يمكن إنشاء هذه النماذج ثلاثية الأبعاد باستخدام البرامج المناسبة (على سبيل المثال ، Blender 3D44) ثم طباعتها ثلاثية الأبعاد (الشكل 1B). الخيار الثاني هو أخذ كائن ثلاثي الأبعاد حقيقي موجود واستخدام تقنية المسح الضوئي ثلاثية الأبعاد لإنشاء نسخة طبق الأصل من نموذج شبكي للكائن. أيا كانت الاستراتيجية ، فإن الهدف النهائي هو الحصول على كل من كائن 3D حقيقي ونموذج شبكة كائن 3D الظاهري المقابل. تجدر الإشارة إلى أن النهج الموصوف هنا يعمل فقط مع الكائنات الصلبة (أي غير القابلة للتشوه). بمجرد توفر السطح ثلاثي الأبعاد لكائن ما كنموذج شبكي ، يجب تتبع موضعه وتسجيله بشكل مشترك (الشكل 1C). للقيام بذلك ، يتم إرفاق أربع علامات عاكسة غير مستوية بسطح الكائن الحقيقي ، ويتم وضع الكائن داخل حجم التتبع. ثم يتم التقاط مواقف 3D من علامات الكائن لفترة وجيزة. يستخدم هذا الالتقاط لإنشاء المراسلات بين العلامات الأربعة والرؤوس الأربعة لنموذج شبكة الكائن. يتم ذلك باستخدام مسار برنامج مخصص بسيط مكتوب في واجهة برمجة تطبيقات Python الخاصة ب Blender. ضمن Blender’s Viewport ، يقدم البرنامج الكائن الافتراضي مع مواضع العلامة التي يتم تمثيلها ككائن شبكي واحد يتكون من كرة واحدة لكل علامة. يمكن للمستخدم بعد ذلك تدوير وترجمة الكائن و / أو العلامات لمواءمتها بحيث تتماشى مع العلامات الحقيقية الموضوعة على الكائن الحقيقي. سيقوم البرنامج بتسجيل الدورات والترجمة التي يتم تطبيقها لحساب ترجمة روتو واحدة يتم تطبيقها أخيرا على شبكة الكائن الأصلية ، مما يوفر شبكة كائن مسجلة بشكل مشترك مع تعريف الجسم الصلب في QTM. بعد إنشاء المراسلات ، كلما تم نقل الكائن الحقيقي داخل حجم التتبع ، يمكن وضع الكائن الافتراضي في الموضع الجديد عن طريق حساب ترجمة روتو بين العلامات المتعقبة ورؤوس الشبكة الأربعة المقابلة. لتسجيل ديناميكيات الإمساك بدلا من ذلك ، يتم إرفاق ما مجموعه 24 علامة عاكسة كروية على معالم مختلفة من اليد باستخدام شريط على الوجهين (الشكل 1D والشكل 2). في بداية التجربة (الشكل 1E) ، يضع أحد المشاركين يده بشكل مسطح على طاولة العمل مع توجيه راحة اليد لأسفل ويغلق عينيه. يضع المجرب كائنا مستهدفا على طاولة العمل أمام المشارك. بعد ذلك ، تشير إشارة سمعية إلى المشارك لفتح أعينهم وتنفيذ القبضة. في عروضنا التوضيحية ، تتمثل المهمة في الوصول إلى الكائن المستهدف والإمساك به ، ورفعه عموديا بمقدار 10 سم تقريبا ، ووضعه لأسفل ، وإعادة اليد إلى موضع البداية. يتحكم البرنامج النصي المكتوب في Python 3.7 في التجربة. في كل تجربة، يقوم البرنامج النصي بتحديد إعدادات الحالة الحالية وإبلاغها إلى المجرب (على سبيل المثال، هوية الكائن وتحديد الموضع). يتحكم البرنامج النصي أيضا في توقيت المحاكمة ، بما في ذلك الإشارات السمعية وبدء وإيقاف تسجيلات التقاط الحركة. لا تتميز الأطراف فقط بموقعها في مساحة 3D ولكن أيضا بوضعها. وبالتالي ، للحصول على إعادة بناء ثلاثية الأبعاد كاملة ليد بشرية تنفذ قبضة حقيقية ، فإننا لا نطلب فقط مواضع كل مفصل في الفضاء ثلاثي الأبعاد ولكن أيضا الوضع النسبي (الترجمة والدوران) لكل مفصل فيما يتعلق بالمفصل الأم (الشكل 1F). يمكن استنتاج مواضع واتجاهات المفاصل الهيكلية من مواضع العلامات باستخدام الحركية العكسية. للقيام بذلك ، نستخدم هنا أداة حل الهيكل العظمي التي يوفرها برنامج QTM. لكي يعمل الحل ، يجب علينا أولا تقديم تعريف هيكلي يربط موضع واتجاه كل مفصل بمواضع علامات متعددة. وبالتالي ، يتم إنشاء تعريف الهيكل العظمي ، ويتم ربط جهاز الهيكل العظمي ببيانات العلامة باستخدام المكون الإضافي QTM Connect لمايا. نقوم بإنشاء تعريفات هيكلية مخصصة لكل مشارك لزيادة دقة الهيكل العظمي المناسب لبيانات العلامة. لكل مشارك ، نقوم يدويا بتركيب هيكل عظمي لليد في إطار واحد من بيانات التقاط الحركة. بعد الحصول على تعريف الهيكل العظمي الخاص بالمشاركين، نقوم بعد ذلك بتشغيل أداة حل الهيكل العظمي لتقدير أوضاع المفصل الهيكلي لكل إطار من كل تجربة في التجربة. لكل إطار من كل تجربة في التجربة ، نقوم بإنشاء شبكة يدوية تعيد بناء الوضع اليدوي الحالي باستخدام أداة إنشاء شبكة يدوية مفتوحة المصدر ومدربة مسبقا ، DeepHandMesh28 (الشكل 1G). DeepHandMesh هي شبكة فك تشفير عميقة تقوم بإنشاء شبكات يدوية مخصصة من الصور. أولا ، يقدر المشفر وضع اليد داخل الصورة (أي زوايا أويلر المشتركة). بعد ذلك ، يتم إدخال وضع اليد المقدر ومتجه معرف مخصص إلى وحدة فك التشفير ، والتي تقدر مجموعة من ثلاثة تصحيحات مضافة لشبكة قالب مزورة. أخيرا ، يتم تشويه شبكة القالب وفقا لوضعية اليد المقدرة والتصحيحات باستخدام سلخ المزيج الخطي. التصحيحي الأول هو تصحيح هيكل عظمي يعتمد على الهوية يتم من خلاله ضبط الجهاز الهيكلي لدمج أوضاع المفاصل الخاصة بالشخص. التصحيحان الآخران عبارة عن تصحيحات شبكية يتم من خلالها ضبط رؤوس الشبكة لتمثيل سطح اليد للمشارك بشكل أفضل. أحد تصحيحات الشبكة هو تصحيح شبكي يعتمد على الهوية والذي يمثل البنية السطحية ليد المشارك الفردي. بدلا من ذلك ، فإن الشبكة التصحيحية النهائية هي تصحيح قمة يعتمد على الوضع والذي يفسر تشوهات سطح اليد بسبب وضع اليد الحالي. يتم تدريب DeepHandMesh باستخدام إشراف ضعيف مع نقاط رئيسية مشتركة 2D وخرائط عمق المشهد. هنا ، نستخدم فقط وحدة فك ترميز DeepHandMesh المدربة مسبقا لإنشاء عمليات إعادة بناء شبكة يدوية ، معدلة بالطرق التالية (الشكل 3). أولا ، نظرا لأن الشبكة غير مدربة على مشاركين محددين ، يتم استخدام الشبكة التصحيحية العامة المعتمدة على الهوية المقدمة مع النموذج المدرب مسبقا (الشكل 3 أ). علاوة على ذلك ، يتم اشتقاق تصحيح الهيكل العظمي المعتمد على الهوية باستخدام حل الهيكل العظمي QTM كما هو موضح أعلاه (الشكل 3B). يفترض القياس النسبي لليد مع طول الهيكل العظمي ، ويتم قياس سمك الشبكة بشكل موحد بواسطة عامل مشتق من القياس النسبي للهيكل العظمي بحيث تقارب الشبكة بشكل أفضل حجم يد المشارك (الشكل 3C). هذه الشبكة المعدلة هي إدخال إلى وحدة فك التشفير ، جنبا إلى جنب مع وضع اليد الحالي (المستمد من بيانات العلامة) وموضع 3D واتجاه المعصم. وبالتالي ، فإن وحدة فك التشفير تحسب التصحيحية الحالية المعتمدة على الوضع ، وتطبق جميع التصحيحات والترجمات الروتو ، وتخرج إعادة بناء شبكة يدوية ثلاثية الأبعاد لليد الحالية في نفس إطار الإحداثيات مثل شبكة الكائن المجنزرة ثلاثية الأبعاد (الشكل 3D). الشكل 3: تعديلات على وحدة فك ترميز DeepHandMesh المدربة مسبقا . (أ) شبكة تصحيحية ثابتة وعامة تعتمد على الهوية. (ب) تصحيح الهيكل العظمي المعتمد على الهوية المشتق من خلال الحركية العكسية في الخطوة 10. (ج) حجم شبكة اليد متدرج بنفس معامل المفاصل الهيكلية. (د) إعادة بناء شبكة اليد 3D النهائية من وضع اليد الحالية. يرجى النقر هنا لعرض نسخة أكبر من هذا الرقم. بعد إعادة بناء نماذج شبكة 3D لكل من يد المشارك وجسم ممسوك ، يمكن تقدير مناطق الاتصال بين اليد والجسم عن طريق حساب التقاطع بين شبكات اليد والجسم (الشكل 1H). الافتراض الكامن وراء ذلك هو أن اليد الحقيقية مشوهة عن طريق ملامستها للسطح ، مما يعني أن الهيكل العظمي يمكن أن يقترب من السطح أكثر مما لو كانت اليد صلبة ، مما يسمح لأجزاء من شبكة اليد بالمرور عبر شبكة الجسم. نتيجة لذلك ، يمكن تقريب مناطق التلامس كمناطق تداخل بين الشبكتين. على وجه التحديد ، لحساب مناطق التداخل هذه ، نحدد رؤوس شبكة الكائن الموجودة في حجم 3D لشبكة اليد على أنها ملامسة لليد. يتم تحديد هذه الرؤوس باستخدام نهج تتبع الأشعة القياسي45. لكل قمة من شبكة الكائن ، يتم إلقاء شعاع من هذا الرأس إلى نقطة 3D تعسفية خارج شبكة اليد. ثم نقيم عدد التقاطعات التي تحدث بين الشعاع المصبوب والمثلثات المكونة لسطح اليد. إذا كان عدد التقاطعات فرديا ، احتواء رأس الكائن داخل شبكة اليد. إذا كان عدد التقاطعات متساويا ، فإن رأس الكائن يكون خارج شبكة اليد. وبالتالي ، يمكن تقريب مناطق التلامس على سطح الجسم على أنها مجموعة من وجوه المثلث التي توجد رؤوسها جميعا داخل شبكة اليد. يمكننا تطبيق نفس الأساس المنطقي على رؤوس شبكة اليد الموجودة في حجم 3D لشبكة الكائن لتقدير مناطق التلامس على سطح اليد. والجدير بالذكر أنه يمكن أيضا استخدام مناهج أكثر تقدما لعمليات الشبكة المنطقية31. يعرض الفيديو 1 مقطع فيديو ليد ونقاط متعقبة وشبكة مسجلة بشكل مشترك تتحرك جميعها جنبا إلى جنب أثناء الإمساك بواحد على تمثال قطة مطبوع بتقنية 3D. يوضح الشكل 4 أ بدلا من ذلك إطارا واحدا في وقت ملامسة اليد والجسم من قبضة إلى كرواسون مطبوع ثلاثي الأبعاد ، جنبا إلى جنب مع إعادة بناء شبكة اليد والجسم (الشكل 4 ب) ومناطق الاتصال المقدرة على سطح الكرواسون (الشكل 4 ج). الشكل 4: مناطق الاتصال المقدرة بين اليد والجسم. ( أ) اليد والجسم المجنزران الذي ينظر إليه من إحدى كاميرات التتبع أثناء الإمساك به. (ب) شبكة يدوية أعيد بناؤها وشبكة جسم مجنزرة مقدمة من نفس وجهة نظر كاميرا التتبع. (ج) مناطق التماس على سطح الجسم التي ترى من وجهات نظر متعددة. يرجى النقر هنا لعرض نسخة أكبر من هذا الرقم. فيديو 1: إعادة بناء شبكة اليد والجسم. رسوم متحركة Gif لليد وعلامات مجنزرة وإعادة بناء شبكة اليد والكائن أثناء قبضة واحدة يتم عرضها من نفس وجهة نظر الكاميرا. الرجاء الضغط هنا لتنزيل هذا الفيديو.

Discussion

نقترح طريقة تمكن من تقدير مناطق الاتصال للتفاعلات بين اليد والكائن أثناء عمليات الإمساك متعددة الأرقام. نظرا لأن التتبع الكامل لسطح اليد بالكامل أمر مستعصي حاليا ، فإننا نقترح استخدام إعادة بناء شبكة يدوية يتم تحديد وضعها من خلال نقاط رئيسية متفرقة على اليد. لتتبع هذه النقاط الرئيسية المتناثرة ، يستخدم حلنا نظام التقاط الحركة على مستوى البحث بناء على تتبع العلامات السلبية. بالطبع ، يمكن أيضا استخدام أنظمة التقاط الحركة الأخرى مع الطريقة المقترحة ، بشرط أن تسفر عن بيانات موقع 3D دقيقة بما فيه الكفاية. ننصح بعدم استخدام أنظمة التقاط حركة العلامات النشطة (مثل Optotrak Certus الشائعة ولكن المتوقفة) ، نظرا لأنها تتطلب توصيل الكابلات و / أو الأجهزة الإلكترونية بأيدي المشاركين ، مما قد يقيد الحركات أو على الأقل ينتج عنه قبضات أقل نموذجية حيث يتم جعل المشاركين أكثر وعيا بوضعية أيديهم. قد تكون قفازات تتبع الحركة التي تستخدم وحدات قياس بالقصور الذاتي ممكنة ، على الرغم من أن هذه الأنظمة معروفة بأنها تعاني من الانجراف ، وقد تقيد أيضا حركات اليد ، ولا تسمح لسطح اليد بالتلامس الكامل والمباشر مع أسطح الجسم. قد تكون حلول تتبع اليد التجارية بدون علامات (على سبيل المثال ، Leap Motion⁴⁶،⁴⁷،⁴⁸) ممكنة أيضا ^، على الرغم من أنه قد لا يكون من الممكن تتبع مواقع الأشياء باستخدام هذه الأنظمة وحدها. يتم توفير الخيار البديل الواعد لنظام التقاط الحركة على مستوى البحث من خلال حلول تتبع مفتوحة المصدر وخالية من العلامات (على سبيل المثال ، Mathis et ^al.28). إذا تم استخدامها مع العديد من الكاميرات المسجلة^{بشكل مشترك 49} ، فمن المحتمل أن تتعقب هذه الأنظمة مواضع مفصل اليد ومواضع الأشياء في 3D دون الحاجة إلى علامات أو قفازات أو كابلات. ومع ذلك ، قد تعاني هذه الحلول ، بالإضافة إلى هذا النظام القائم على العلامات ، من مشكلات فقدان البيانات بسبب الانسداد.

القيود والتوجهات المستقبلية
نظرا لأن عمليات إعادة البناء اليدوية التي تم الحصول عليها من خلال هذه الطريقة لن تكون دقيقة تماما ، فهناك بعض القيود على أنواع التجارب التي يجب استخدام الطريقة من أجلها. ستظهر الانحرافات في إعادة بناء شبكة اليد عن الحقيقة الأرضية في الانحرافات في مناطق ملامسة اليد / الكائن المقدرة. وبالتالي ، فإن تطبيق هذه الطريقة لاشتقاق مقاييس مطلقة سيتطلب تقييم دقة تقديرات منطقة الاتصال. ومع ذلك ، حتى التقديرات التقريبية يمكن أن تظل مفيدة في التصاميم التجريبية داخل المشارك لأن التحيزات المحتملة للطريقة من المحتمل أن تؤثر على الظروف التجريبية المختلفة داخل المشارك بطريقة مماثلة. لذلك ، يجب إجراء التحليلات والاستدلالات الإحصائية فقط على مقاييس مثل الاختلافات في منطقة الاتصال بين الظروف ، حيث يرتبط اتجاه التأثير بالحقيقة الأساسية المعنية. في الأبحاث المستقبلية ، نخطط لمزيد من التحقق من صحة نهجنا ، على سبيل المثال من خلال مقارنة تقديرات منطقة الاتصال بالبصمات الحرارية على الأشياء المغطاة بالطلاء الحراري.

معظم خطوات المعالجة من جمع البيانات إلى تقدير منطقة الاتصال النهائي مؤتمتة بالكامل ، وبالتالي ، تقدم مساهمات مهمة نحو إجراء موحد لتقدير منطقة الاتصال باليد والكائن. ومع ذلك ، لا يزال يتعين إجراء ملاءمة أولية للهياكل العظمية الفردية لمواقع 3D للعلامات المتعقبة يدويا للحصول على تعريف هيكلي لكل مشارك. مع زيادة عدد المشاركين في التجربة ، يزداد عدد التركيبات اليدوية ، وهذه هي الخطوة الأكثر استهلاكا للوقت في الإجراء وتتطلب بعض الإلمام بالتزوير اليدوي في برنامج Autodesk Maya. في المستقبل ، نهدف إلى أتمتة هذه الخطوة لتجنب التأثير البشري على الإجراء عن طريق إضافة إجراء معايرة الهيكل العظمي التلقائي.

يعتمد سير العمل الموضح هنا على أجهزة وبرامج Qualisys (على سبيل المثال ، أداة حل الهيكل العظمي QTM). هذا يحد حاليا من إمكانية الوصول إلى طريقتنا للمختبرات التي لديها إعداد مماثل. ومع ذلك ، من حيث المبدأ ، يمكن تطبيق الطريقة على أي مصدر لبيانات التقاط الحركة. لتوسيع إمكانية الوصول ، في العمل المستمر ، نستكشف البدائل التي من شأنها تعميم سير العمل لدينا وجعله أقل اعتمادا على تراخيص الأجهزة والبرامج المحددة.

هناك قيد مهم آخر للطريقة وهو أنه ، في شكله الحالي ، لا يمكن تطبيقه إلا على الأشياء الصلبة (غير القابلة للتشوه). في المستقبل ، يمكن التغلب على هذا القيد باستخدام طرق لتسجيل شكل سطح الجسم الممسك أثناء تشوهه. بالإضافة إلى ذلك ، نظرا لطبيعتها التقريبية ، فإن الطريقة ليست مناسبة حاليا للأجسام الصغيرة جدا أو الرقيقة.

في الختام ، من خلال دمج أحدث تتبع الحركة مع نمذجة سطح اليد عالية الدقة ، نقدم طريقة لتقدير مناطق ملامسة اليد والأشياء أثناء الإمساك والتلاعب. في الأبحاث المستقبلية ، نخطط لنشر هذه الطريقة للتحقيق ونمذجة سلوك الإمساك الموجه بصريا في البشر¹⁶. نخطط أيضا لدمج هذه الأدوات مع تتبع العين 46،50،51،⁵² وأنظمة الواقع الافتراضي / المعزز 53،54،55 للتحقيق في التحكم في حركة اليد والعين الموجهة بصريا في البيئات الطبيعية الحقيقية والافتراضية¹⁸،^46،⁵⁶^،⁵⁷. لهذه الأسباب ، قد تكون الطريقة المقترحة ذات أهمية للباحثين الذين يدرسون الإدراك اللمسي⁵⁸ ، والتحكم في المحركات ، والتفاعل بين الإنسان والحاسوب في الواقع الافتراضي والمعزز. أخيرا ، يمكن للقياسات الدقيقة لقدرات الإمساك البشري أن تفيد في تصميم أنظمة روبوتية قوية تستند إلى مبادئ الإدراك التفاعلي³⁹،⁴⁰،⁴¹،⁴²^،⁴³ وقد يكون لها تطبيقات متعدية للأطراف الاصطناعية العلوية.

Disclosures

The authors have nothing to disclose.

Acknowledgements

تم تمويل هذا البحث من قبل Deutsche Forschungsgemeinschaft (DFG ، مؤسسة الأبحاث الألمانية: المشروع رقم 222641018-SFB / TRR 135 TP C1 و IRTG-1901 “الدماغ في العمل”) ومن قبل مجموعة الأبحاث “العقل التكيفي” بتمويل من برنامج التميز التابع لوزارة التعليم العالي والعلوم والبحث والفنون في ولاية هيسن. يشكر المؤلفون فريق دعم Qualisys ، بما في ذلك ماتياس بانكاي وجيفري ثينجفولد ، للمساعدة في تطوير أساليبنا. يشكر المؤلفون أيضا ميكايلا جيشكي على التظاهر بأنها نموذج اليد. تتوفر جميع البيانات ونصوص التحليل لإعادة إنتاج الطريقة والنتائج المعروضة في المخطوطة على Zenodo (doi: 10.5281 / zenodo.7458911).

Materials

Anaconda Python distribution		(Anaconda 5.3.1 or later); https://repo.anaconda.com/archive/	scripts and functions were generated in Python version 3.7
Autodesk Maya	Autodesk, Inc.	Maya2022; https://www.autodesk.com/products/maya/overview	3D computer graphics application.
Blender	Blender Foundation	Blender 2.92; https://download.blender.org/release/	3D computer graphics application.
Computer Workstation	N/A	N/A	OS: Windows 10 or higher.
DeepHandMesh	Meta Platforms, Inc. (Meta Open Source)	https://github.com/facebookresearch/DeepHandMesh	Pre-trained hand mesh generation tool.
Miqus M5	Qualisys Ab	https://www.qualisys.com/cameras/miqus/	Passive marker motion tracking camera (8 units).
Miqus video camera	Qualisys Ab	https://www.qualisys.com/cameras/miqus-video/	Color video camera, synchronized with Miquis M5 tracking cameras (6 units).
Project repository	N/A	Data and Code Repository	Data and code to replicate the current project. The repository is currently under construction, but we provide a private link where reviewers can download the current and most up-to-date version of the repository. The final repository will be made publicly available upon acceptance.
Python 3	Python Software Foundation	Python Version 3.7	Python3 and associated built-in libraries.
QTM Connect for Maya	Qualisys Ab	https://github.com/qualisys/QTM-Connect-For-Maya	Stream skeleton, rigid bodies and marker data from QTM to Maya
QTM Qualisys Track Manager	Qualisys Ab	Qualisys Track Manager 2021.2; https://www.qualisys.com/software/qualisys-track-manager/	Motion capture software
Qualisys SDK for Python	Qualisys Ab	https://github.com/qualisys/qualisys_python_sdk	Implements communication between QTM and Python

References

Derzsi, Z., Volcic, R. MOTOM toolbox: MOtion Tracking via Optotrak and Matlab. Journal of Neuroscience Methods. 308, 129-134 (2018).
Eloka, O., Franz, V. H. Effects of object shape on the visual guidance of action. Vision Research. 51 (8), 925-931 (2011).
Lederman, S. J., Wing, A. M. Perceptual judgement, grasp point selection and object symmetry. Experimental Brain Research. 152 (2), 156-165 (2003).
Schettino, L. F., Adamovich, S. V., Poizner, H. Effects of object shape and visual feedback on hand configuration during grasping. Experimental Brain Research. 151 (2), 158-166 (2003).
Chen, Z., Saunders, J. A. Online processing of shape information for control of grasping. Experimental Brain Research. 233 (11), 3109-3124 (2015).
Burstedt, M. K., Flanagan, J. R., Johansson, R. S. Control of grasp stability in humans under different frictional conditions during multidigit manipulation. Journal of Neurophysiology. 82 (5), 2393-2405 (1999).
Paulun, V. C., Gegenfurtner, K. R., Goodale, M. A., Fleming, R. W. Effects of material properties and object orientation on precision grip kinematics. Experimental Brain Research. 234 (8), 2253-2265 (2016).
Klein, L. K., Maiello, G., Fleming, R. W., Voudouris, D. Friction is preferred over grasp configuration in precision grip grasping. Journal of Neurophysiology. 125 (4), 1330-1338 (2021).
Mamassian, P. Prehension of objects oriented in three-dimensional space. Experimental Brain Research. 114 (2), 235-245 (1997).
Paulun, V. C., Kleinholdermann, U., Gegenfurtner, K. R., Smeets, J. B. J., Brenner, E. Center or side: biases in selecting grasp points on small bars. Experimental Brain Research. 232 (7), 2061-2072 (2014).
Goodale, M. A., et al. Separate neural pathways for the visual analysis of object shape in perception and prehension. Current Biology. 4 (7), 604-610 (1994).
Kleinholdermann, U., Franz, V. H., Gegenfurtner, K. R. Human grasp point selection. Journal of Vision. 13 (8), 23 (2013).
Maiello, G., Paulun, V. C., Klein, L. K., Fleming, R. W. Object visibility, not energy expenditure, accounts for spatial biases in human grasp selection. i-Perception. 10 (1), 204166951982760-20 (2019).
Maiello, G., Schepko, M., Klein, L. K., Paulun, V. C., Fleming, R. W. Humans can visually judge grasp quality and refine their judgments through visual and haptic feedback. Frontiers in Neuroscience. 14, 591898 (2021).
Klein, L. K., Maiello, G., Paulun, V. C., Fleming, R. W. Predicting precision grip grasp locations on three-dimensional objects. PLoS Computational Biology. 16 (8), 1008081 (2020).
Maiello, G., Paulun, V. C., Klein, L. K., Fleming, R. W. The sequential-weight illusion. i-Perception. 9 (4), 204166951879027 (2018).
Chessa, M., Maiello, G., Klein, L. K., Paulun, V. C., Solari, F. Grasping objects in immersive Virtual Reality. 2019 IEEE Conference on Virtual Reality and 3D User Interfaces (VR). , 1749-1754 (2019).
Crajé, C., Lukos, J. R., Ansuini, C., Gordon, A. M., Santello, M. The effects of task and content on digit placement on a bottle). Experimental Brain Research. 212 (1), 119-124 (2011).
Lukos, J., Ansuini, C., Santello, M. Choice of contact points during multidigit grasping: Effect of predictability of object center of mass location. Journal of Neuroscience. 27 (14), 3894-3903 (2007).
Gilster, R., Hesse, C., Deubel, H. Contact points during multidigit grasping of geometric objects. Experimental Brain Research. 217 (1), 137-151 (2012).
Schot, W. D., Brenner, E., Smeets, J. B. J. Robust movement segmentation by combining multiple sources of information. Journal of Neuroscience Methods. 187 (2), 147-155 (2010).
Sundaram, S., et al. Learning the signatures of the human grasp using a scalable tactile glove. Nature. 569 (7758), 698-702 (2019).
Yan, Y., Goodman, J. M., Moore, D. D., Solla, S. A., Bensmaia, S. J. Unexpected complexity of everyday manual behaviors. Nature Communications. 11 (1), 3564 (2020).
Han, S., et al. Online optical marker-based hand tracking with deep labels. ACM Transactions on Graphics. 37 (4), 1-10 (2018).
Clouthier, A. L., et al. Development and validation of a deep learning algorithm and open-source platform for the automatic labelling of motion capture markers. IEEE Access. 9, 36444-36454 (2021).
. Qualisys AB Qualisys Track Manager User Manual (Version 2022.1) Available from: https://www.qualisys.com/ (2022)
Mathis, A., et al. DeepLabCut: Markerless pose estimation of user-defined body parts with deep learning. Nature Neuroscience. 21 (9), 1281-1289 (2018).
Moon, G., Shiratori, T., Lee, K. M. DeepHandMesh: A weakly-supervised deep encoder-decoder framework for high-fidelity hand mesh modeling. ECCV 2020. , (2020).
Smith, B., et al. Constraining dense hand surface tracking with elasticity. ACM Transactions on Graphics. 39 (6), 219 (2020).
Taheri, O., Ghorbani, N., Black, M. J., Tzionas, D. GRAB: A dataset of whole-body human grasping of objects. Computer Vision – ECCV 2020: 16th European Conference. , 581-600 (2020).
Brahmbhatt, S., Tang, C., Twigg, C. D., Kemp, C. C., Hays, J. ContactPose: A dataset of grasps with object contact and hand pose. Computer Vision – ECCV 2020. , 361-378 (2020).
Wang, J., et al. RGB2Hands: Real-time tracking of 3D hand interactions from monocular RGB video. ACM Transactions on Graphics. 39 (6), 218 (2020).
Zhang, X., Li, Q., Mo, H., Zhang, W., Zheng, W. End-to-end hand mesh recovery from a monocular RGB image. 2019 IEEE/CVF International Conference on Computer Vision (ICCV). , 2354-2364 (2019).
Endo, Y., Tada, M., Mochimaru, M. Reconstructing individual hand models from motion capture data). Journal of Computational Design and Engineering. 1 (1), 1-12 (2014).
Mueller, F., et al. GANerated hands for real-time 3D hand tracking from monocular RGB. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. , 49-59 (2018).
Mueller, F., et al. Real-time pose and shape reconstruction of two interacting hands with a single depth camera. ACM Transactions on Graphics. 38 (4), 49 (2019).
Romero, J., Tzionas, D., Black, M. J. Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics. 36 (6), 245 (2017).
Kappler, D., Bohg, J., Schaal, S. Leveraging big data for grasp planning. 2015 IEEE International Conference on Robotics and Automation (ICRA). , 4304-4311 (2015).
Kokic, M., Kragic, D., Bohg, J. Learning task-oriented grasping from human activity datasets). IEEE Robotics and Automation Letters. 5 (2), 3352-3359 (2020).
Shao, L., et al. UniGrasp: Learning a unified model to grasp with multifingered robotic hands. IEEE Robotics and Automation Letters. 5 (2), 2286-2293 (2020).
Shao, L., Migimatsu, T., Zhang, Q., Yang, K., Bohg, J. Concept2Robot: Learning manipulation concepts from instructions and human demonstrations. Robotics: Science and Systems XVI. , (2020).
Bohg, J. Interactive perception: Leveraging action in perception and perception in action. IEEE Transactions on Robotics. 33 (6), 1273-1291 (2017).
. Blender Foundation Available from: https://www.blender.org (2022)
Roth, S. D. Ray casting for modeling solids. Computer Graphics and Image Processing. 18 (2), 109-144 (1982).
Maiello, G., Kwon, M., Bex, P. J. Three-dimensional binocular eye-hand coordination in normal vision and with simulated visual impairment. Experimental Brain Research. 236 (3), 691-709 (2018).
Weichert, F., Bachmann, D., Rudak, B., Fisseler, D. Analysis of the accuracy and robustness of the leap motion controller. Sensors. 13 (5), 6380-6393 (2013).
Guna, J., Jakus, G., Pogačnik, M., Tomažič, S., Sodnik, J. An analysis of the precision and reliability of the leap motion sensor and its suitability for static and dynamic tracking. Sensors. 14 (2), 3702-3720 (2014).
Sheshadri, S., Dann, B., Hueser, T., Scherberger, H. 3D reconstruction toolbox for behavior tracked with multiple cameras. Journal of Open Source Software. 5 (45), 1849 (2020).
Maiello, G., Harrison, W. J., Bex, P. J. Monocular and binocular contributions to oculomotor plasticity. Scientific Reports. 6, 31861 (2016).
Caoli, A., et al. A dichoptic feedback-based oculomotor training method to manipulate interocular alignment. Scientific Reports. 10, 15634 (2020).
Gibaldi, A., Vanegas, M., Bex, P. J., Maiello, G. Evaluation of the Tobii EyeX eye tracking controller and Matlab toolkit for research. Behavior Research Methods. 49 (3), 923-946 (2017).
Chessa, M., Maiello, G., Borsari, A., Bex, P. J. The Perceptual quality of the Oculus Rift for immersive virtual reality. Human-Computer Interaction. 34 (1), 51-82 (2016).
Maiello, G., Chessa, M., Bex, P. J., Solari, F. Near-optimal combination of disparity across a log-polar scaled visual field. PLoS Computational Biology. 16 (4), 1007699 (2020).
Maiello, G., Chessa, M., Solari, F., Bex, P. J. The (in)effectiveness of simulated blur for depth perception in naturalistic images. PLoS One. 10 (10), 0140230 (2015).
Maiello, G., Chessa, M., Solari, F., Bex, P. J. Simulated disparity and peripheral blur interact during binocular fusion. Journal of Vision. 14 (8), 13 (2014).
Maiello, G., Kerber, K. L., Thorn, F., Bex, P. J., Vera-Diaz, F. A. Vergence driven accommodation with simulated disparity in myopia and emmetropia. Experimental Eye Research. 166, 96-105 (2018).
Moscatelli, A., et al. The change in fingertip contact area as a novel proprioceptive cue. Current Biology. 26 (9), 1159-1163 (2016).

Play Video

PDF

DOI

DOWNLOAD MATERIALS LIST

Cite This Article

Hartmann, F., Maiello, G., Rothkopf, C. A., Fleming, R. W. Estimation of Contact Regions Between Hands and Objects During Human Multi-Digit Grasping. J. Vis. Exp. (194), e64877, doi:10.3791/64877 (2023).

Automatically Generated