Estimation of Contact Regions Between Hands and Objects During Human Multi-Digit Grasping

Frieder Hartmann; Guido Maiello; Constantin A. Rothkopf; Roland W. Fleming

doi:10.3791/64877

JoVE Journal > Behavior

Please note that all translations are automatically generated. Click here for the English version.

Behavior

הערכת אזורי מגע בין ידיים לחפצים במהלך אחיזה רב-ספרתית אנושית

Published: April 21, 2023

doi:

10.3791/64877

Frieder Hartmann, Guido Maiello, Constantin A. Rothkopf, Roland W. Fleming³

¹Department of Experimental Psychology,Justus Liebig University Giessen, ²Institute of Psychology & Centre for Cognitive Science,Technical University of Darmstadt, ³Centre for Mind, Brain and Behaviour (CMBB),University of Marburg and Justus Liebig University Giessen

Summary

כאשר אנו תופסים אובייקט, אזורים מרובים של האצבעות והיד בדרך כלל יוצרים מגע עם פני השטח של האובייקט. שחזור אזורי מגע כאלה הוא מאתגר. כאן, אנו מציגים שיטה להערכה בקירוב של אזורי המגע על ידי שילוב לכידת תנועה מבוססת סמן עם שחזור רשת יד קיים מבוסס למידה עמוקה.

Abstract

כדי לתפוס אובייקט בהצלחה, עלינו לבחור אזורי מגע מתאימים לידיים שלנו על פני השטח של האובייקט. עם זאת, זיהוי אזורים כאלה הוא מאתגר. מאמר זה מתאר זרימת עבודה להערכת אזורי אנשי הקשר מנתוני מעקב מבוססי סמנים. המשתתפים תופסים חפצים אמיתיים, בזמן שאנו עוקבים אחר המיקום התלת-ממדי של האובייקטים ושל היד, כולל מפרקי האצבעות. תחילה אנו קובעים את זוויות אוילר המשותפות מתוך מבחר סמנים מסומנים הממוקמים על גב היד. לאחר מכן, אנו משתמשים באלגוריתמים חדישים לשחזור רשת יד כדי ליצור מודל רשת של היד של המשתתף בתנוחה הנוכחית ובמיקום התלת-ממדי.

שימוש באובייקטים שהודפסו בתלת-ממד או נסרקו בתלת-ממד – ולכן זמינים הן כאובייקטים אמיתיים והן כנתוני רשת שינוי – מאפשר רישום משותף של רשתות השינוי של היד והאובייקט. בתורו, זה מאפשר הערכה של אזורי מגע מקורבים על ידי חישוב ההצטלבויות בין רשת היד לבין רשת האובייקט התלת-ממדית הרשומה במשותף. השיטה עשויה לשמש כדי להעריך היכן וכיצד בני אדם תופסים חפצים במגוון תנאים. לכן, השיטה יכולה לעניין חוקרים החוקרים תפיסה חזותית והפטית, שליטה מוטורית, אינטראקציה בין אדם למחשב במציאות מדומה ורבודה ורובוטיקה.

Introduction

היכולת לתפוס ולתפעל חפצים היא יכולת מפתח המאפשרת לבני אדם לעצב מחדש את הסביבה לרצונותיהם ולצרכיהם. עם זאת, שליטה יעילה בידיים מרובות מפרקים היא משימה מאתגרת הדורשת מערכת בקרה מתוחכמת. מערכת בקרה מוטורית זו מונחית על ידי מספר צורות של קלט חושי, ביניהן ראייה היא בעלת חשיבות עליונה. באמצעות ראייה, אנשים יכולים לזהות את האובייקטים בסביבה ולהעריך את מיקומם ואת תכונותיהם הפיזיות, ואז יכולים להגיע, לתפוס ולתפעל אותם בקלות. הבנת המערכת המורכבת המקשרת את הקלט ברשתית עם הפקודות המוטוריות השולטות בידיים היא אתגר מרכזי של מדעי המוח הסנסומוטוריים. כדי למדל, לחזות ולהבין כיצד מערכת זו פועלת, עלינו להיות מסוגלים תחילה ללמוד אותה בפירוט. זה דורש מדידות נאמנות גבוהה הן של קלט חזותי והן של יציאות מנוע יד.

טכנולוגיית מעקב תנועה בעבר הטילה מספר מגבלות על חקר האחיזה האנושית. לדוגמה, מערכות הדורשות כבלים המחוברים לידיהם של המשתתפים^1,2 נוטות להגביל את טווח תנועות האצבעות^, מה שעלול לשנות את תנועות האחיזה או את המדידות עצמן. למרות מגבלות אלה, מחקרים קודמים הצליחו לזהות מספר גורמים המשפיעים על תפיסה מונחית חזותית. חלק מגורמים אלה כוללים את צורת האובייקט 3,4,5,6, חספוס פני השטח 7,8,9, או הכיוון של אובייקט ביחס ליד^4,8,10. עם זאת, כדי להתגבר על מגבלות טכנולוגיות קודמות, רוב המחקר הקודם הזה השתמש בגירויים פשוטים ובמשימות מוגבלות מאוד, ובכך התמקד בעיקר בגורמים בודדים 3,4,6,7,10, אחיזות דיוק דו-ספרתיות^{3,4,6,9,11,12}^, 13,14,15,16,17,18, אובייקטים בודדים¹⁹, או צורות דו-ממדיות פשוטות מאוד ^20,21. לא ידוע כיצד ממצאים קודמים מכלילים מעבר לתנאי מעבדה מצומצמים ומלאכותיים כאלה. בנוסף, מדידת מגע יד-אובייקט מצטמצמת לעתים קרובות להערכה של נקודות מגע ספרתיות²². פישוט זה עשוי להתאים לתיאור תת-קבוצה קטנה של אחיזות שבה רק קצות האצבעות באות במגע עם אובייקט. עם זאת, ברוב האחיזות בעולם האמיתי, אזורים נרחבים של האצבעות וכף היד באים במגע עם אובייקט. יתר על כן, מחקר^{שנערך לאחרונה 23} הוכיח, באמצעות כפפה הפטית, כי אובייקטים יכולים להיות מזוהים על ידי איך פני השטח שלהם משפיעים על היד. זה מדגיש את החשיבות של חקר אזורי המגע המורחבים בין הידיים לבין האובייקטים שנאחזו, ולא רק את נקודות המגע בין האובייקטים לבין קצות האצבעות²².

ההתקדמות האחרונה בלכידת תנועה ומידול ידני תלת-ממדי אפשרה לנו להתגבר על מגבלות קודמות ולחקור את האחיזה במלוא מורכבותה. מעקב תנועה פסיבי מבוסס סמן זמין כעת עם סמנים בגודל מילימטרי שניתן לחבר לגב ידיו של המשתתף כדי לעקוב אחר תנועות המפרקים²⁴. יתר על כן, אלגוריתמים אוטומטיים לזיהוי סמנים עבור מערכות סמנים פסיביות הם כעת חזקים מספיק כדי כמעט לבטל את הצורך בעיבוד ידני נרחב של נתוני סמן^25,26,27. פתרונות ללא מרקרים מגיעים גם לרמות ביצועים מרשימות במעקב אחר חלקי גוף של בעלי חיים בסרטונים²⁸. שיטות מעקב תנועה אלה, אם כן, מאפשרות לבסוף מדידות אמינות ולא פולשניות של תנועות ידיים מורכבות רב-ספרתיות²⁴. מדידות כאלה יכולות ללמד אותנו על קינמטיקה משותפת ולאפשר לנו להעריך את נקודות המגע בין היד לאובייקט. בנוסף, בשנים האחרונות מתמודדת קהילת הראייה הממוחשבת עם הבעיה של בניית מודלים של ידיים אנושיות שיכולים לשכפל את עיוותים הרקמות הרכות במהלך אחיזת חפצים ואפילו במהלך מגע עצמי בין חלקי יד 29,30,31,32. שחזורי רשת תלת-ממדיים כאלה יכולים להיגזר מסוגים שונים של נתונים, כגון קטעי וידאו 33,34^, מפרקי שלד (הנגזרים ממעקב מבוסס סמן 35 או מעקב ללא סמן 36), ותמונות עומק ³⁷. ההתקדמות העיקרית הראשונה בתחום זה סופקה על ידי Romero et al.38, שגזרו מודל יד פרמטרי (MANO) מיותר מ-1,000 סריקות ידיים ^מ-31 נבדקים בתנוחות שונות. המודל מכיל פרמטרים הן לתנוחה והן לצורת היד, המאפשרים רגרסיה ממקורות נתונים שונים לשחזור מלא של היד. הפתרון העדכני יותר של DeepHandMesh²⁹ מתבסס על גישה זו על ידי בניית מודל פרמטרי באמצעות למידה עמוקה ועל ידי הוספת הימנעות מחדירה, אשר משכפלת בצורה מדויקת יותר אינטראקציות פיזיות בין חלקי יד. על ידי שילוב של שחזורי רשת יד כאלה עם רשתות שינוי תלת-ממדיות של עצמים, ניתן כעת להעריך אזורי מגע לא רק על פני השטח של אובייקטים³² אלא גם על פני היד.

כאן, אנו מציעים זרימת עבודה המשלבת מעקב תלת ממדי באיכות גבוהה של אובייקטים ומפרקי ידיים עם אלגוריתמים חדשניים לשחזור רשת יד. השיטה מניבה מפות מפורטות של משטחי מגע יד-אובייקט. מדידות אלה יסייעו למדעני מוח סנסומוטוריים להרחיב את ההבנה התיאורטית שלנו של תפיסה מונחית ראייה אנושית. יתר על כן, השיטה יכולה להיות שימושית לחוקרים בתחומים סמוכים. לדוגמה, חוקרי גורמים אנושיים עשויים להשתמש בשיטה זו כדי לבנות מערכות ממשק אדם-מכונה טובות יותר במציאות מדומה ורבודה¹⁸. מדידות נאמנות גבוהה של התנהגויות אחיזה אנושיות יכולות גם לסייע לרובוטיקאים לתכנן מערכות אחיזה רובוטיות בהשראת בני אדם המבוססות על עקרונות התפיסה האינטראקטיבית 39,40,41,42,43. לפיכך, אנו מקווים ששיטה זו תסייע לקדם את מחקר האחיזה בתחומי מדעי המוח וההנדסה, החל מתיאורים דלילים של משימות מוגבלות מאוד ועד לאפיונים מלאים יותר של התנהגויות אחיזה נטורליסטיות עם אובייקטים מורכבים ומשימות בעולם האמיתי. הגישה הכוללת מתוארת באיור 1.

איור 1: שלבים מרכזיים בשיטה המוצעת . (A) מצלמות לכידת תנועה מצלמות שולחן עבודה מזוויות מרובות. (B) אובייקט גירוי מודפס בתלת-ממד ממודל רשת שינוי משולשת. (C) ארבעה סמנים רפלקטיביים כדוריים מודבקים על פני השטח של האובייקט האמיתי. הליך אוטומטי למחצה מזהה ארבע נקודות תואמות על פני השטח של עצם רשת השינוי. התכתבות זו מאפשרת לנו לתרגם את מודל הרשת למיקום המעקב התלת-ממדי של האובייקט האמיתי. (D) סמנים רפלקטיביים מחוברים לציוני דרך שונים בגב כף ידו של משתתף באמצעות סרט דו-צדדי. (E) מערכת לכידת התנועה רוכשת את המסלולים במרחב התלת-ממדי של האובייקט העוקב וסמני היד במהלך ניסוי יחיד. (ו) שלד יד ספציפי למשתתף נבנה באמצעות תוכנת גרפיקה ממוחשבת תלת-ממדית. לאחר מכן מוערכות תנוחות מפרקי השלד עבור כל פריים של כל ניסוי בניסוי באמצעות קינמטיקה הפוכה. (G) תנוחות המפרקים מוזנות לגרסה שונה של DeepHandMesh²⁹, המפיקה רשת יד תלת-ממדית משוערת בתנוחה ובמיקום התלת-ממדיים הנוכחיים. (H) לבסוף, אנו משתמשים בהצטלבות רשת כדי לחשב את אזורי המגע יד-אובייקט. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.

Protocol

לפני תחילת הניסוי, המשתתפים חייבים לספק הסכמה מדעת בהתאם להנחיות המוסדיות ולהצהרת הלסינקי. כל הפרוטוקולים המתוארים כאן אושרו על ידי ועדת האתיקה המקומית של אוניברסיטת יוסטוס ליביג גיסן (LEK-FB06). 1. התקנה של כל התוכנות הדרושות הורד את מאגר הפרוייקטים במאגר הנתונים והקוד. התקן את התוכנה המופיעה בטבלת החומרים (שים לב לגרסאות התוכנה ופעל לפי הקישורים לקבלת אפשרויות רכישה והוראות). בתוך מאגר הנתונים והקוד, פתח חלון פקודה והפעל את הפקודה הבאה:Conda env create -f environment.yml הורד והתקן את הפעלת DeepHandMesh29 שאומנה מראש בהתאם להוראות שסופקו בעת https://github.com/facebookresearch/DeepHandMesh.מקם את DeepHandMesh בתיקייה “deephandmesh” של מאגר הנתונים והקוד. החלף את הקובץ “main/model.py” בקובץ model.py הכלול במאגר הנתונים והקוד. 2. הכנת מערכת לכידת התנועה מקם שולחן עבודה בתוך נפח מעקב שצולם מזוויות מרובות על-ידי מצלמות מעקב תנועה המסודרות על מסגרת המקיפה את סביבת העבודה (איור 1A). הכינו סמנים רפלקטיביים על ידי הצמדת סרט הדבקה דו-צדדי לבסיס של כל טוש. הפעל את Qualisys Track Manager (QTM) כמנהל מערכת.הערה: הפעלת QTM כמנהל מערכת הכרחית כדי שה-Python SDK ישתלט על ממשק QTM. אנו ממליצים תמיד להפעיל QTM כמנהל מערכת. 3. כיול המצלמות מקם את אובייקט הכיול בצורת L בתוך נפח המעקב. בתוך QTM, לחץ על כיול בתפריט לכידה, או לחץ על סמל השרביט בסרגל הכלים לכידה. המתן לפתיחת חלון כיול. בחר את משך הכיול ולחץ על OK. נפנפו בשרביט הכיול לאורך נפח המעקב למשך הכיול. לחצו על הלחצן ‘ ייצוא’ וציינו נתיב קובץ לייצוא הכיול כקובץ טקסט. קבל את הכיול על-ידי לחיצה על אישור. 4. יצירת אובייקט גירוי בנה מודל אובייקטים וירטואלי תלת-ממדי בצורת רשת שינוי של מצולע. השתמש במדפסת תלת-ממד כדי לבנות העתק פיזי של מודל האובייקטים.הערה: מאגר הנתונים בשלב 1.1 מספק אובייקטים לדוגמה בתבניות קובץ STL ו- Wavefront OBJ. אובייקטים בפורמט STL הם סעפת ומוכנים להדפסה תלת-ממדית. 5. הכנת אובייקט הגירוי חבר ארבעה סמנים רפלקטיביים לא מישוריים לפני השטח של האובייקט האמיתי. מקם את האובייקט בתוך אמצעי האחסון למעקב. במאגר הפרויקט, בצע את סקריפט Python “Acquire_Object.py”. בצע את ההוראות שסופקו על-ידי קובץ ה- Script כדי לבצע לכידה של 1 s של המיקום התלת-ממדי של סמני האובייקט. בחר את כל הסמנים של הגוף הקשיח. לחץ לחיצה ימנית ובחר הגדר גוף קשיח (6DOF) | מסגרת נוכחית. הזן את שם הגוף הקשיח ולחץ על OK. בתפריט קובץ , בחר יצא | ל-TSV. בחלון החדש, סמן את התיבות תלת-ממד, 6D ושלד בהגדרות סוג נתונים . סמן את כל התיבות בהגדרות כלליות . לחץ על אישור ולאחר מכן על שמור. 6. רישום משותף של גרסאות מודל אמיתיות וגרסאות רשת של אובייקט הגירוי פתחו את ‘ בלנדר’ ונווטו אל סביבת העבודה ‘סקריפטים ‘. פתח את הקובץ “Object_CoRegistration.py” ולחץ על הפעל. נווטו אל סביבת העבודה ‘פריסה ‘ והקישו n כדי להחליף בין סרגל הצד. בסרגל הצד, נווטו אל הכרטיסיה ‘ מותאם אישית’ . בחר את קובץ ה- .obj לרישום משותף ולחץ על הלחצן טען אובייקט . בחר בקובץ המסלול שיוצא בשלב 3.3 וציין את שמות הסמנים המצורפים לעצם הקשיח כשהם מופרדים באמצעות נקודה-פסיק. בכותרת הסמן, ציין את השורה בקובץ המסלול המכילה את שמות העמודות של הנתונים (הספירה מתחילה ב- 0). בחר בקובץ הגוף הקשיח המתאים עם הסיומת 6D , וציין את שם הגוף הקשיח שהוגדר בשלב 4.1. בכותרת העליונה של 6D, ציין את השורה בקובץ הגוף הקשיח המכיל את שמות העמודות של הנתונים. לחצו על ‘סמני טעינה’. תרגם וסובב את אובייקט הסמנים ו/או את אובייקט האובייקט כדי ליישר אותם. ציינו קובץ פלט עם רשת שינוי, ולחצו על ‘ הפעל התאמה משותפת’. פעולה זו תפיק קובץ .obj המכיל את רשת הגירוי הרשומה במשותף. 7. הגדרת טושים על הידיים חבר 24 סמנים רפלקטיביים כדוריים על ציוני דרך שונים של היד של המשתתף באמצעות סרט דו-צדדי.הערה: המיקום הספציפי של הסמנים מודגם באיור 2.מקם את הסמנים במרכז על גבי קצות האצבעות המתאימות, כמו גם את המפרקים הבין-פלנגאליים הדיסטליים, המפרקים הבין-פלנגאליים הפרוקסימליים והמפרקים המטא-קרפופלנגאליים של האצבע המורה, האצבע האמצעית, הקמיצה והאצבע הקטנה. עבור האגודל, מקם סמן אחד כל אחד על קצה האצבע ואת המפרק carpometacarpal הבסיסי, כמו גם זוג סמנים כל אחד על metacarpophalangeal ואת המפרקים interphalangeal.הערה: זוגות סמנים אלה צריכים להיות נעקרים בכיוונים מנוגדים בניצב לציר הראשי של האגודל, והם נחוצים כדי להעריך את כיוון האגודל. לבסוף, הניחו סמנים במרכז שורש כף היד ועל המפרק scaphotrapeziotrapezoidal. איור 2: מיקום סמן על ידו של משתתף. קיצור: RH = יד ימין. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה. 8. רכישת ניסיון יחיד בקשו מהמשתתפים להניח את היד שטוחה על שולחן העבודה כשכף היד פונה כלפי מטה ולעצום עיניים. הניחו את אובייקט הגירוי על שולחן העבודה מול המשתתף. בזמן שה- QTM פועל, הפעל את סקריפט Python “Single_Trial_Acquisition.py” במאגר הפרויקט. בצע את ההוראות שסופקו על-ידי הסקריפט כדי ללכוד ניסוי יחיד של המשתתף האוחז באובייקט הגירוי.הערה: התסריט יפיק רמז שמיעתי. זה יאותת למשתתף לפקוח את עיניו ולבצע את האחיזה. בהדגמות שלנו, המשימה היא להגיע ולאחוז בעצם המטרה, להרים אותו אנכית בכ-10 ס”מ, להניח אותו ולהחזיר את היד לעמדת המוצא שלה. 9. סימון הסמנים בתוך ה-QTM, גררו ושחררו את מסלולי הסמן הבודדים ממסלולים לא מזוהים למסלולים מסומנים , ותייגו אותם בהתאם למוסכמה למתן שמות באיור 2. בחר את כל הסמנים המחוברים ליד, ולחץ לחיצה ימנית ובחר צור מודל AIM מהבחירה. בחלון החדש, בחר צור מודל חדש המבוסס על חיבורי סמן ממודל AIM קיים ולחץ על הלחצן הבא . בחר בהגדרת הדגם RH_FH ולחץ על Open. לחץ על הבא, הזן שם עבור מודל AIM ולחץ על אישור. לבסוף, לחץ על סיום כדי ליצור מודל AIM עבור היד של המשתתף, אשר ישמש לזיהוי אוטומטי של סמנים בניסויים עוקבים מאותו משתתף. 10. יצירת הגדרת שלד מותאמת אישית למשתתף ב- QTM, נווט אל תפריט Play ובחר Play with Real-Time Output. פתח את מאיה. נווט אל מדף QTM Connect ולחץ על סמל Connect to QTM. בחלון החדש, סמן את סמנים והקש Connect. כעת, לחץ על לשחק סמל במדף QTM Connect. הקישו Shift ובחרו בכל סמני היד ולחצו על הסמל Wash Locators . בחר את סמני היד השטופים והקש Ctrl + G. פעולה זו תיצור צומת קבוצה. תן שם לקבוצה סמנים. בחר את כל סמני היד. בתפריט שינוי , לחץ על חפש והחלף שמות. חפש את הקידומת RH_ ומחק את הקידומת של הסמנים. לחץ על סמל ייבוא Solver במדף QTM Connect . טען את הגדרת השלד “RH_FH.xml”. בתפריט Windows , נווט אל עורכים כלליים | עורך מרחב השמות. בתוך החלון החדש, לחץ על :(שורש), ולחץ על חדש כדי ליצור מרחב שמות חדש , RH. לחץ על מרחב השמות RH , לחץ על חדש ותן שם למרחב השמות החדש ModelPose. בחר את כל הסמנים, לחץ על מרחב השמות RH ולחץ על הוסף נבחר כדי להוסיף את הסמנים למרחב השמות של RH . בחר את עצמות השלד, לחץ על מרחב השמות ModelPose ולחץ על הוסף נבחר כדי להוסיף את עצמות השלד למרחב השמות ModelPose . סובב, תרגם ושנה את קנה המידה של השלד כך שיתאים לנתוני הסמן. לאחר מכן, עבור כל מפרק שלד בנפרד, Shift + בחר את מפרק השלד ואת הסמנים המשויכים אליו, ולחץ על סמל הוסף קבצים מצורפים . לבסוף, לחץ על סמל Export Solver כדי לייצא את הגדרת השלד החדשה לקובץ XML שניתן לטעון ב- QTM (ראה השלב הבא).הערה: שלב זה אינו הכרחי בהחלט, אך כדאי להגדיל את דיוק התאמת השלד לנתוני הסמן. קרא את QSolverQuickstartGuide ב- https://github.com/qualisys/QTM-Connect-For-Maya לקבלת מידע נוסף. 11. שחזור תנוחות מפרק השלד המשותף בתוך QTM, פתח את הגדרות הפרויקט על ידי לחיצה על סמל גלגל ההילוכים . בסרגל הצד, נווטו אל Skeleton Solver ולחצו על ‘ טען’ כדי לבחור קובץ הגדרות שלד. התאם את גורם קנה המידה ל- 100% ולחץ על החל. נווט אל ייצוא TSV וסמן את התיבות תלת-ממד, 6D ושלד בהגדרות סוג הנתונים . סמן את כל התיבות בהגדרות כלליות . לחץ על החל וסגור את הגדרות הפרוייקט. לחץ על Reprocess סמל, סמן את התיבות פתור שלדים וייצוא לקובץ TSV ולחץ על אישור. 12. יצירת שחזורי רשת יד פתח חלון פקודה במאגר הפרויקט והפעל את סביבת conda על-ידי ביצוע הפקודה:Conda הפעלת אזורי מגע לאחר מכן, בצע את הפקודה הבאה, ופעל לפי ההוראות שסופקו על ידי הסקריפט כדי ליצור, עבור כל מסגרת של המשפט, רשת יד המשחזרת את תנוחת היד הנוכחית.Python Hand_Mesh_Reconstruction.py –GPU 0 –test_epoch 4הערה: שחזורי רשת שינוי אלה נוצרים באופן אוטומטי באמצעות גרסה שונה של הכלי ליצירת רשת שינוי ידנית בקוד פתוח ומאומן מראש, DeepHandMesh29. 13. יצירת אומדני אזור מגע יד-אובייקט פתח חלון פקודה במאגר הפרוייקט, בצע את הפקודה הבאה ופעל בהתאם להוראות שסופקו על-ידי הסקריפט כדי ליצור הערכות של אזור מגע יד ואובייקט על-ידי חישוב ההצטלבות בין רשת שינוי היד לרשת שינוי של אובייקטים.בלנדר –רקע –פייתון “Contact_Region_Estimation.py”

Representative Results

הדרישה הראשונה לשיטה המוצעת היא מערכת למעקב מדויק אחר מיקומם של אובייקטים תלת ממדיים וידיים. ההגדרה הספציפית מוצגת באיור 1A ומשתמשת בחומרה ובתוכנה שיוצרו על-ידי חברת לכידת התנועה Qualisys. אנו ממקמים שולחן עבודה בתוך נפח מעקב (100 ס”מ x 100 ס”מ x 100 ס”מ), אשר מצולם מזוויות מרובות על ידי שמונה מצלמות מעקב ושש מצלמות וידאו המסודרות על מסגרת קוביית המקיפה את סביבת העבודה. מצלמות המעקב עוקבות אחר המיקום התלת-ממדי של הסמנים הרפלקטיביים בתוך נפח המעקב בקצב של 180 פריימים לשנייה וברזולוציה מרחבית תלת-ממדית תת-מילימטרית. אנו משתמשים בטושים רפלקטיביים בקוטר 4 מ”מ, המחוברים לחפצים ולידיים באמצעות סרט הדבקה דו צדדי ידידותי לעור. מיקומי הסמנים התלת-ממדיים מעובדים על ידי תוכנת לכידת התנועה. פרק הדיון סוקר גם מערכות חלופיות ללכידת תנועה שניתן להשתמש בהן בשיטה המוצעת. כדי להשיג שחזורים תלת-ממדיים מדויקים של אובייקטים אמיתיים שנתפסים ועוברים מניפולציה, אנו מציעים שתי אפשרויות. הראשון, שהוא זה שאומץ כאן, הוא להתחיל ממודל אובייקט תלת ממדי וירטואלי בצורה של רשת מצולע. מודלים תלת-ממדיים כאלה יכולים להיבנות באמצעות תוכנה מתאימה (למשל, בלנדר 3D44) ולאחר מכן להדפיס בתלת-ממד (איור 1B). האפשרות השנייה היא לקחת אובייקט תלת-ממדי קיים ואמיתי ולהשתמש בטכנולוגיית סריקה תלת-ממדית כדי לבנות העתק מודל רשת של האובייקט. לא משנה מה האסטרטגיה, המטרה הסופית היא להשיג גם אובייקט תלת ממדי אמיתי וגם את מודל רשת האובייקטים הווירטואלי הווירטואלי המתאים. יש לציין כי הגישה המתוארת כאן פועלת רק עם אובייקטים קשיחים (כלומר, בלתי מעוותים). ברגע שהמשטח התלת-ממדי של עצם זמין כמודל רשת שינוי, יש לעקוב אחר מיקומו ולרשום אותו במשותף (איור 1C). לשם כך, ארבעה סמנים רפלקטיביים לא מישוריים מחוברים לפני השטח של האובייקט האמיתי, והאובייקט ממוקם בתוך נפח העקיבה. המיקומים התלת-ממדיים של סמני האובייקט נלכדים לאחר מכן לזמן קצר. לכידה זו משמשת לביסוס ההתאמה בין ארבעת הסמנים וארבעת הקודקודים של מודל רשת השינוי של האובייקט. זה נעשה באמצעות מסלול תוכנה פשוט אד הוק שנכתב ב- Python API של בלנדר. בתוך האשנב של בלנדר, התוכנית מציגה את האובייקט הווירטואלי יחד עם מיקומי הסמן, המיוצגים כאובייקט רשת שינוי יחיד המורכב מכדור אחד לכל סמן. לאחר מכן המשתמש יכול לסובב ולתרגם את האובייקט ו / או את הסמנים כדי ליישר אותם כך שהם מתיישרים עם הסמנים האמיתיים המוצבים על האובייקט האמיתי. התוכנית תרשום את הסיבובים והתרגום המוחלים כדי לחשב תרגום רוטו יחיד המוחל לבסוף על רשת האובייקט המקורית, ולספק רשת שינוי אובייקט הרשומה יחד עם הגדרת הגוף הקשיח ב- QTM. לאחר יצירת התכתבות, בכל פעם שהאובייקט האמיתי מועבר בתוך נפח המעקב, ניתן למקם את האובייקט הווירטואלי במיקום החדש על ידי חישוב תרגום הרוטו-בין הסמנים המסומנים לבין ארבעת קודקודי הרשת המתאימים. במקום זאת, כדי לתעד את הדינמיקה של האחיזה, 24 סמנים רפלקטיביים כדוריים מחוברים על ציוני דרך שונים של היד באמצעות סרט דו-צדדי (איור 1D ואיור 2). בתחילת ניסוי (איור 1E), משתתף מניח את ידו שטוחה על שולחן העבודה כשכף היד פונה כלפי מטה ועוצם את עיניו. הנסיין מציב אובייקט מטרה על שולחן העבודה מול המשתתף. לאחר מכן, רמז שמיעתי מאותת למשתתף לפקוח את עיניו ולבצע את האחיזה. בהדגמות שלנו, המשימה היא להגיע ולאחוז בעצם המטרה, להרים אותו אנכית בכ-10 ס”מ, להניח אותו ולהחזיר את היד לעמדת המוצא שלה. סקריפט שנכתב בפייתון 3.7 שולט בניסוי. בכל ניסוי, הסקריפט בוחר ומעביר את הגדרות המצב הנוכחיות לנסיין (למשל, זהות אובייקט ומיקום). התסריט שולט גם בתזמון הניסוי, כולל רמזים שמיעתיים ובהתחלה ובעצירה של הקלטות לכידת התנועה. הגפיים מאופיינות לא רק במיקומן במרחב התלת ממדי אלא גם בתנוחה שלהן. לכן, כדי לקבל שחזור תלת-ממדי מלא של יד אנושית המבצעת אחיזה אמיתית, אנו זקוקים לא רק למיקומים של כל מפרק במרחב תלת-ממדי, אלא גם לתנוחה היחסית (תרגום וסיבוב) של כל מפרק ביחס למפרק האב שלו (איור 1F). ניתן להסיק מיקומים ואוריינטציות של מפרקי השלד ממיקומי סמן באמצעות קינמטיקה הפוכה. לשם כך, כאן אנו מעסיקים את פותר השלד המסופק על ידי תוכנת QTM. כדי שהפותר יעבוד, עלינו לספק תחילה הגדרת שלד המקשרת את המיקום והכיוון של כל מפרק למספר מיקומי סמן. הגדרת שלד היא, אם כן, בנויה, ומתקן השלד מקושר לנתוני הסמן באמצעות תוסף QTM Connect עבור Maya. אנו יוצרים הגדרות שלד מותאמות אישית לכל משתתף כדי למקסם את הדיוק של התאמת השלד לנתוני הסמן. עבור כל משתתף, אנו מתאימים ידנית שלד יד לפריים יחיד של נתוני לכידת תנועה. לאחר שקיבלנו הגדרת שלד ספציפית למשתתף, אנו מריצים את פותר השלד כדי להעריך את תנוחות מפרקי השלד עבור כל מסגרת של כל ניסוי בניסוי. עבור כל פריים של כל ניסוי בניסוי, אנו יוצרים רשת יד שמשחזרת את תנוחת היד הנוכחית באמצעות הכלי הפתוח והמאומן מראש ליצירת רשת יד, DeepHandMesh28 (איור 1G). DeepHandMesh היא רשת מקודדת-מפענחת עמוקה שמייצרת רשתות יד מותאמות אישית מתמונות. ראשית, המקודד מעריך את תנוחת היד בתוך תמונה (כלומר, זוויות אוילר המשותפות). לאחר מכן, תנוחת היד המשוערת ווקטור מזהה מותאם אישית מוזנים למפענח, אשר מעריך קבוצה של שלושה מתקנים מוספים לרשת תבנית מוקשית. לבסוף, רשת התבנית מעוותת בהתאם לתנוחת היד המשוערת ומתקנת באמצעות מעטפת תערובת ליניארית. המתקן הראשון הוא מתקן שלד תלוי ID, שדרכו מתקן השלד מותאם לשלב את עמדות המפרק הספציפיות לאדם. שני התיקונים האחרים הם תיקוני רשת שדרכם מכווננים קודקודי הרשת כדי לייצג טוב יותר את משטח היד של המשתתף. אחד ממתקני הרשת הוא מתקן רשת תלוי ID, הלוקח בחשבון את מבנה פני השטח של כף ידו של משתתף בודד. מתקן הרשת הסופי במקום זאת הוא מתקן קודקודים תלוי תנוחה המסביר עיוותים במשטח היד עקב תנוחת היד הנוכחית. DeepHandMesh מאומן באמצעות פיקוח חלש עם נקודות מפתח משותפות דו-ממדיות ומפות עומק סצנה. כאן, אנו משתמשים רק במפענח DeepHandMesh שהוכשר מראש כדי ליצור שחזורים של רשת יד ששונו בדרכים הבאות (איור 3). ראשית, מאחר שהרשת אינה מאומנת על משתתפים ספציפיים, נעשה שימוש ברשת המתקנת הגנרית תלוית המזהה המסופקת עם המודל שהוכשר מראש (איור 3A). יתר על כן, מתקן השלד תלוי ה-ID נגזר באמצעות פותר השלד QTM כמתואר לעיל (איור 3B). מניחים קנה מידה פרופורציונלי של היד עם אורך השלד, ועובי הרשת מגודל באופן אחיד על ידי גורם הנגזר מקנה המידה היחסי של השלד, כך שהרשת מתקרבת טוב יותר לגודל היד של המשתתף (איור 3C). רשת שינוי זו מוזנת למפענח, יחד עם תנוחת היד הנוכחית (הנגזרת מנתוני הסמן) והמיקום והכיוון התלת-ממדיים של פרק כף היד. המפענח, אם כן, מחשב את מתקן התנוחה הנוכחי, מיישם את כל התיקונים והתרגומים הרוטו-תרגומיים, ומפיק שחזור רשת יד תלת-ממדית של תנוחת היד הנוכחית באותה מסגרת קואורדינטות כמו רשת העצם התלת-ממדית (איור 3D). איור 3: שינויים במפענח DeepHandMesh שהוכשר מראש . (A) מתקן רשת שינוי קבוע, גנרי תלוי ID. (B) תיקון שלד תלוי ID, הנגזר באמצעות קינמטיקה הופכית בשלב 10. (C) גודל רשת היד משתנה על ידי אותו גורם כמו מפרקי השלד. (D) שחזור רשת יד תלת-ממדית סופית של תנוחת היד הנוכחית. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה. לאחר שחזור מודלים תלת-ממדיים של רשת שינוי הן עבור ידו של משתתף והן עבור אובייקט שנתפס, ניתן להעריך אזורי מגע של יד-אובייקט על-ידי חישוב ההצטלבות בין רשת שינוי היד לרשת האובייקט (איור 1H). ההנחה מאחורי זה היא שהיד האמיתית מעוותת על ידי מגע עם המשטח, כלומר השלד יכול להתקרב לפני השטח יותר ממה שהיה אפשרי אם היד הייתה קשיחה, מה שמאפשר לחלקים מרשת היד לעבור דרך רשת האובייקטים. כתוצאה מכך, ניתן לקרב את אזורי המגע כאזורי החפיפה בין שתי רשתות השינוי. באופן ספציפי, כדי לחשב אזורים אלה של חפיפה, אנו מגדירים קודקודי רשת שינוי של עצמים הכלולים בנפח התלת-ממדי של רשת השינוי הידית כנמצאים במגע עם היד. קודקודים אלה מזוהים באמצעות גישת מעקב קרניים סטנדרטית45. עבור כל קודקוד של רשת השינוי, קרן מוטלת מקודקוד זה לנקודה תלת-ממדית שרירותית מחוץ לרשת השינוי. לאחר מכן אנו מעריכים את מספר ההצטלבויות המתרחשות בין הקרן הגבס לבין המשולשים המרכיבים את פני היד. אם מספר הצמתים אי-זוגי, קודקוד העצם נכלל בתוך רשת השינוי. אם מספר הצמתים זוגי, קודקוד האובייקט נמצא מחוץ לרשת השינוי. אזורי המגע על פני השטח של האובייקט יכולים, אם כן, להיות מקורבים כקבוצה של משולשים שקודקודיהם כלולים כולם בתוך רשת היד. אנו יכולים ליישם את אותו רציונל על קודקודי רשת היד הכלולים בנפח התלת-ממדי של רשת האובייקט כדי להעריך את אזורי המגע על פני היד. יש לציין כי ניתן להשתמש גם בגישות מתקדמות יותר לפעולות רשת בוליאניות31. סרטון 1 מציג סרטון של יד, נקודות מעקב ורשת רשת רשומה משותפת הנעות זו לצד זו במהלך אחיזה אחת בפסלון חתול מודפס בתלת-ממד. במקום זאת, איור 4A מראה מסגרת אחת בזמן מגע יד-אובייקט מאחיזה לקרואסון מודפס בתלת-ממד, יחד עם שחזורי רשת היד-אובייקט (איור 4B) ואזורי המגע המשוערים על פני השטח של הקרואסון (איור 4C). איור 4: אזורי מגע משוערים של יד-אובייקט. (א) מעקב אחר היד והאובייקט שנצפו מאחת ממצלמות המעקב במהלך אחיזה. (B) רשת יד משוחזרת ורשת עקיבה של עצמים שעובדו מאותה נקודת מבט כמו מצלמת המעקב. (C) אזורי מגע על פני השטח של העצם הנראים מנקודות מבט מרובות. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה. סרטון 1: שחזורי רשת של היד והאובייקט. אנימציית Gif של היד, סמנים מסומנים ושחזורי רשת היד והאובייקט במהלך אחיזה אחת שנצפתה מאותה נקודת מבט של המצלמה. אנא לחץ כאן כדי להוריד סרטון זה.

Discussion

אנו מציעים שיטה המאפשרת הערכה של אזורי מגע עבור אינטראקציות יד-אובייקט במהלך אחיזה רב-ספרתית. מכיוון שמעקב מלא אחר כל פני השטח של היד הוא כרגע בלתי פתיר, אנו מציעים להשתמש בשחזור של רשת יד שתנוחתה נקבעת על ידי נקודות מפתח דלילות על היד. כדי לעקוב אחר נקודות מפתח דלילות אלה, הפתרון שלנו משתמש במערכת לכידת תנועה ברמת מחקר המבוססת על מעקב סמנים פסיבי. כמובן, ניתן להשתמש גם במערכות לכידת תנועה אחרות בשיטה המוצעת, בתנאי שהן מניבות נתוני מיקום תלת-ממדיים מדויקים מספיק. אנו ממליצים להימנע ממערכות לכידת תנועה של סמן אקטיבי (כגון Optotrak Certus הפופולרי אך שהופסק), מכיוון שאלו דורשות חיבור כבלים ו / או מכשירים אלקטרוניים לידי המשתתפים, מה שעשוי להגביל תנועות או לפחות להניב אחיזות פחות אופייניות ככל שהמשתתפים נעשים מודעים יותר לתנוחת ידיהם. כפפות מעקב תנועה המשתמשות ביחידות מדידה אינרציאליות עשויות להיות אפשרות, למרות שמערכות אלו ידועות כסובלות מסחיפה, עשויות גם להגביל את תנועות היד ואינן מאפשרות למשטח היד לבוא במגע מלא וישיר עם משטחי האובייקט. פתרונות מסחריים למעקב ידני ללא סמן (לדוגמה, Leap Motion^46,47,48) עשויים גם הם להיות אפשרות^, אם כי ייתכן שלא ניתן יהיה לעקוב אחר מיקומי אובייקטים באמצעות מערכות אלה בלבד. האפשרות החלופית המבטיחה ביותר למערכת לכידת תנועה ברמת מחקר ניתנת על ידי פתרונות מעקב ללא סמן בקוד פתוח (למשל, Mathis et ^al.28). אם נעשה בהן שימוש עם מספר מצלמות רשומות⁴⁹, מערכות כאלה יכולות לעקוב אחר מיקומי מפרקי ידיים ומיקומי אובייקטים בתלת-ממד ללא צורך בסמנים, כפפות או כבלים. פתרונות אלה, כמו גם מערכת מבוססת סמנים זו, עלולים לסבול, עם זאת, מבעיות אובדן נתונים עקב חסימות.

מגבלות וכיוונים עתידיים
מכיוון ששחזורי היד המתקבלים בשיטה זו לא יהיו מדויקים לחלוטין, ישנן מגבלות מסוימות לסוגי הניסויים שעבורם יש להשתמש בשיטה. סטיות בשחזורי רשת היד מהאמת הקרקעית יתבטאו בסטיות באזורי המגע המשוערים של יד/אובייקט. לפיכך, יישום שיטה זו כדי לגזור מדדים מוחלטים יחייב הערכת נאמנות של אומדני אזור המגע. עם זאת, אפילו הערכות מקורבות עדיין יכולות להיות שימושיות בתכנוני ניסוי בתוך המשתתפים מכיוון שההטיות הפוטנציאליות של השיטה עשויות להשפיע על תנאי ניסוי שונים בתוך משתתף באופן דומה. לכן, ניתוחים סטטיסטיים והיסקים צריכים להתבצע רק על מדדים כגון ההבדלים בשטח המגע בין התנאים, כאשר כיוון ההשפעה יהיה מתואם עם האמת הקרקעית בהתאמה. במחקר עתידי, אנו מתכננים לאמת עוד יותר את הגישה שלנו, למשל על ידי השוואת הערכות אזור מגע לטביעות אצבע תרמיות על עצמים המכוסים בצבע תרמוכרומי.

רוב שלבי העיבוד מאיסוף הנתונים ועד להערכת אזור איש הקשר הסופי הם אוטומטיים לחלוטין, ולכן מציעים תרומות חשובות לקראת הליך סטנדרטי להערכת אזור מגע יד-אובייקט. עם זאת, עדיין יש לבצע התאמה ראשונית של השלדים האישיים למיקומים התלת-ממדיים של הסמנים המסומנים באופן ידני כדי לקבל הגדרת שלד עבור כל משתתף. ככל שמספר המשתתפים בניסוי גדל, כך גדל גם מספר ההתאמות הידניות, וזהו כרגע השלב הגוזל הכי הרבה זמן בהליך ודורש היכרות מסוימת עם ריגול ידני בתוכנת אוטודסק מאיה. בעתיד, אנו שואפים להפוך שלב זה לאוטומטי כדי למנוע השפעה אנושית על ההליך על ידי הוספת הליך כיול שלד אוטומטי.

זרימת העבודה המתוארת כאן מסתמכת על החומרה והתוכנה של Qualisys (למשל, פותר השלד QTM). זה כרגע מגביל את הנגישות של השיטה שלנו למעבדות שיש להן מערך דומה. באופן עקרוני, עם זאת, השיטה יכולה להיות מיושמת על כל מקור של נתוני לכידת תנועה. כדי להרחיב את הנגישות, בעבודה השוטפת, אנו בוחנים חלופות שאמורות להכליל את זרימת העבודה שלנו ולהפוך אותה לפחות תלויה ברשיונות חומרה ותוכנה ספציפיים.

מגבלה חשובה נוספת של השיטה היא שבצורתה הנוכחית, ניתן ליישם אותה רק על אובייקטים קשיחים (שאינם ניתנים לצורה). בעתיד, ניתן יהיה להתגבר על מגבלה זו באמצעות שיטות לרישום צורת פני השטח של האובייקט הנתפס כשהוא מתעוות. בנוסף, בשל אופייה המשוער, השיטה אינה מתאימה כיום לעצמים קטנים או דקים מאוד.

לסיכום, על ידי שילוב מעקב תנועה חדשני עם מידול משטח יד באיכות גבוהה, אנו מספקים שיטה להערכת אזורי מגע יד-אובייקט במהלך אחיזה ומניפולציה. במחקר עתידי, אנו מתכננים ליישם שיטה זו כדי לחקור ולמדל התנהגות אחיזה מונחית חזותית בבני אדם¹⁶. כמו כן, אנו מתכננים לשלב כלים אלה עם מעקב אחר העיניים 46,50,51,52 ומערכות מציאות מדומה/רבודה 53,54,55 כדי לחקור שליטה מוטורית מונחית חזותית בתנועות ידיים ועיניים בסביבות נטורליסטיות אמיתיות ווירטואליות^18,46,56,57. מסיבות אלה, השיטה המוצעת עשויה לעניין חוקרים החוקרים תפיסה הפטית⁵⁸, שליטה מוטורית ואינטראקציה בין אדם למחשב במציאות מדומה ורבודה. לבסוף, מדידות מדויקות של יכולות אחיזה אנושיות יכולות לסייע בתכנון מערכות רובוטיות חזקות המבוססות על עקרונות התפיסה האינטראקטיבית 39,40,41,42,43 ועשויות להיות להן יישומים תרגומיים לתותבות בגפיים העליונות.

Disclosures

The authors have nothing to disclose.

Acknowledgements

מחקר זה מומן על ידי Deutsche Forschungsgemeinschaft (DFG, קרן המחקר הגרמנית: פרויקט מס’ 222641018-SFB/TRR 135 TP C1 ו-IRTG-1901 “המוח בפעולה”) ועל ידי אשכול המחקר “המוח המסתגל” שמומן על ידי תוכנית המצוינות של משרד הסיאן להשכלה גבוהה, מדע, מחקר ואמנות. המחברים מודים לצוות התמיכה של Qualisys, כולל מתיאס בנקי וג’פרי תינגוולד, על הסיוע בפיתוח השיטות שלנו. המחברים מודים גם למיכאלה ישקה על שהתחזתה לדוגמנית היד. כל הנתונים וסקריפט הניתוח לשחזור השיטה והתוצאות המוצגות בכתב היד זמינים באתר Zenodo (doi: 10.5281/zenodo.7458911).

Materials

Anaconda Python distribution		(Anaconda 5.3.1 or later); https://repo.anaconda.com/archive/	scripts and functions were generated in Python version 3.7
Autodesk Maya	Autodesk, Inc.	Maya2022; https://www.autodesk.com/products/maya/overview	3D computer graphics application.
Blender	Blender Foundation	Blender 2.92; https://download.blender.org/release/	3D computer graphics application.
Computer Workstation	N/A	N/A	OS: Windows 10 or higher.
DeepHandMesh	Meta Platforms, Inc. (Meta Open Source)	https://github.com/facebookresearch/DeepHandMesh	Pre-trained hand mesh generation tool.
Miqus M5	Qualisys Ab	https://www.qualisys.com/cameras/miqus/	Passive marker motion tracking camera (8 units).
Miqus video camera	Qualisys Ab	https://www.qualisys.com/cameras/miqus-video/	Color video camera, synchronized with Miquis M5 tracking cameras (6 units).
Project repository	N/A	Data and Code Repository	Data and code to replicate the current project. The repository is currently under construction, but we provide a private link where reviewers can download the current and most up-to-date version of the repository. The final repository will be made publicly available upon acceptance.
Python 3	Python Software Foundation	Python Version 3.7	Python3 and associated built-in libraries.
QTM Connect for Maya	Qualisys Ab	https://github.com/qualisys/QTM-Connect-For-Maya	Stream skeleton, rigid bodies and marker data from QTM to Maya
QTM Qualisys Track Manager	Qualisys Ab	Qualisys Track Manager 2021.2; https://www.qualisys.com/software/qualisys-track-manager/	Motion capture software
Qualisys SDK for Python	Qualisys Ab	https://github.com/qualisys/qualisys_python_sdk	Implements communication between QTM and Python

References

Derzsi, Z., Volcic, R. MOTOM toolbox: MOtion Tracking via Optotrak and Matlab. Journal of Neuroscience Methods. 308, 129-134 (2018).
Eloka, O., Franz, V. H. Effects of object shape on the visual guidance of action. Vision Research. 51 (8), 925-931 (2011).
Lederman, S. J., Wing, A. M. Perceptual judgement, grasp point selection and object symmetry. Experimental Brain Research. 152 (2), 156-165 (2003).
Schettino, L. F., Adamovich, S. V., Poizner, H. Effects of object shape and visual feedback on hand configuration during grasping. Experimental Brain Research. 151 (2), 158-166 (2003).
Chen, Z., Saunders, J. A. Online processing of shape information for control of grasping. Experimental Brain Research. 233 (11), 3109-3124 (2015).
Burstedt, M. K., Flanagan, J. R., Johansson, R. S. Control of grasp stability in humans under different frictional conditions during multidigit manipulation. Journal of Neurophysiology. 82 (5), 2393-2405 (1999).
Paulun, V. C., Gegenfurtner, K. R., Goodale, M. A., Fleming, R. W. Effects of material properties and object orientation on precision grip kinematics. Experimental Brain Research. 234 (8), 2253-2265 (2016).
Klein, L. K., Maiello, G., Fleming, R. W., Voudouris, D. Friction is preferred over grasp configuration in precision grip grasping. Journal of Neurophysiology. 125 (4), 1330-1338 (2021).
Mamassian, P. Prehension of objects oriented in three-dimensional space. Experimental Brain Research. 114 (2), 235-245 (1997).
Paulun, V. C., Kleinholdermann, U., Gegenfurtner, K. R., Smeets, J. B. J., Brenner, E. Center or side: biases in selecting grasp points on small bars. Experimental Brain Research. 232 (7), 2061-2072 (2014).
Goodale, M. A., et al. Separate neural pathways for the visual analysis of object shape in perception and prehension. Current Biology. 4 (7), 604-610 (1994).
Kleinholdermann, U., Franz, V. H., Gegenfurtner, K. R. Human grasp point selection. Journal of Vision. 13 (8), 23 (2013).
Maiello, G., Paulun, V. C., Klein, L. K., Fleming, R. W. Object visibility, not energy expenditure, accounts for spatial biases in human grasp selection. i-Perception. 10 (1), 204166951982760-20 (2019).
Maiello, G., Schepko, M., Klein, L. K., Paulun, V. C., Fleming, R. W. Humans can visually judge grasp quality and refine their judgments through visual and haptic feedback. Frontiers in Neuroscience. 14, 591898 (2021).
Klein, L. K., Maiello, G., Paulun, V. C., Fleming, R. W. Predicting precision grip grasp locations on three-dimensional objects. PLoS Computational Biology. 16 (8), 1008081 (2020).
Maiello, G., Paulun, V. C., Klein, L. K., Fleming, R. W. The sequential-weight illusion. i-Perception. 9 (4), 204166951879027 (2018).
Chessa, M., Maiello, G., Klein, L. K., Paulun, V. C., Solari, F. Grasping objects in immersive Virtual Reality. 2019 IEEE Conference on Virtual Reality and 3D User Interfaces (VR). , 1749-1754 (2019).
Crajé, C., Lukos, J. R., Ansuini, C., Gordon, A. M., Santello, M. The effects of task and content on digit placement on a bottle). Experimental Brain Research. 212 (1), 119-124 (2011).
Lukos, J., Ansuini, C., Santello, M. Choice of contact points during multidigit grasping: Effect of predictability of object center of mass location. Journal of Neuroscience. 27 (14), 3894-3903 (2007).
Gilster, R., Hesse, C., Deubel, H. Contact points during multidigit grasping of geometric objects. Experimental Brain Research. 217 (1), 137-151 (2012).
Schot, W. D., Brenner, E., Smeets, J. B. J. Robust movement segmentation by combining multiple sources of information. Journal of Neuroscience Methods. 187 (2), 147-155 (2010).
Sundaram, S., et al. Learning the signatures of the human grasp using a scalable tactile glove. Nature. 569 (7758), 698-702 (2019).
Yan, Y., Goodman, J. M., Moore, D. D., Solla, S. A., Bensmaia, S. J. Unexpected complexity of everyday manual behaviors. Nature Communications. 11 (1), 3564 (2020).
Han, S., et al. Online optical marker-based hand tracking with deep labels. ACM Transactions on Graphics. 37 (4), 1-10 (2018).
Clouthier, A. L., et al. Development and validation of a deep learning algorithm and open-source platform for the automatic labelling of motion capture markers. IEEE Access. 9, 36444-36454 (2021).
. Qualisys AB Qualisys Track Manager User Manual (Version 2022.1) Available from: https://www.qualisys.com/ (2022)
Mathis, A., et al. DeepLabCut: Markerless pose estimation of user-defined body parts with deep learning. Nature Neuroscience. 21 (9), 1281-1289 (2018).
Moon, G., Shiratori, T., Lee, K. M. DeepHandMesh: A weakly-supervised deep encoder-decoder framework for high-fidelity hand mesh modeling. ECCV 2020. , (2020).
Smith, B., et al. Constraining dense hand surface tracking with elasticity. ACM Transactions on Graphics. 39 (6), 219 (2020).
Taheri, O., Ghorbani, N., Black, M. J., Tzionas, D. GRAB: A dataset of whole-body human grasping of objects. Computer Vision – ECCV 2020: 16th European Conference. , 581-600 (2020).
Brahmbhatt, S., Tang, C., Twigg, C. D., Kemp, C. C., Hays, J. ContactPose: A dataset of grasps with object contact and hand pose. Computer Vision – ECCV 2020. , 361-378 (2020).
Wang, J., et al. RGB2Hands: Real-time tracking of 3D hand interactions from monocular RGB video. ACM Transactions on Graphics. 39 (6), 218 (2020).
Zhang, X., Li, Q., Mo, H., Zhang, W., Zheng, W. End-to-end hand mesh recovery from a monocular RGB image. 2019 IEEE/CVF International Conference on Computer Vision (ICCV). , 2354-2364 (2019).
Endo, Y., Tada, M., Mochimaru, M. Reconstructing individual hand models from motion capture data). Journal of Computational Design and Engineering. 1 (1), 1-12 (2014).
Mueller, F., et al. GANerated hands for real-time 3D hand tracking from monocular RGB. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. , 49-59 (2018).
Mueller, F., et al. Real-time pose and shape reconstruction of two interacting hands with a single depth camera. ACM Transactions on Graphics. 38 (4), 49 (2019).
Romero, J., Tzionas, D., Black, M. J. Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics. 36 (6), 245 (2017).
Kappler, D., Bohg, J., Schaal, S. Leveraging big data for grasp planning. 2015 IEEE International Conference on Robotics and Automation (ICRA). , 4304-4311 (2015).
Kokic, M., Kragic, D., Bohg, J. Learning task-oriented grasping from human activity datasets). IEEE Robotics and Automation Letters. 5 (2), 3352-3359 (2020).
Shao, L., et al. UniGrasp: Learning a unified model to grasp with multifingered robotic hands. IEEE Robotics and Automation Letters. 5 (2), 2286-2293 (2020).
Shao, L., Migimatsu, T., Zhang, Q., Yang, K., Bohg, J. Concept2Robot: Learning manipulation concepts from instructions and human demonstrations. Robotics: Science and Systems XVI. , (2020).
Bohg, J. Interactive perception: Leveraging action in perception and perception in action. IEEE Transactions on Robotics. 33 (6), 1273-1291 (2017).
. Blender Foundation Available from: https://www.blender.org (2022)
Roth, S. D. Ray casting for modeling solids. Computer Graphics and Image Processing. 18 (2), 109-144 (1982).
Maiello, G., Kwon, M., Bex, P. J. Three-dimensional binocular eye-hand coordination in normal vision and with simulated visual impairment. Experimental Brain Research. 236 (3), 691-709 (2018).
Weichert, F., Bachmann, D., Rudak, B., Fisseler, D. Analysis of the accuracy and robustness of the leap motion controller. Sensors. 13 (5), 6380-6393 (2013).
Guna, J., Jakus, G., Pogačnik, M., Tomažič, S., Sodnik, J. An analysis of the precision and reliability of the leap motion sensor and its suitability for static and dynamic tracking. Sensors. 14 (2), 3702-3720 (2014).
Sheshadri, S., Dann, B., Hueser, T., Scherberger, H. 3D reconstruction toolbox for behavior tracked with multiple cameras. Journal of Open Source Software. 5 (45), 1849 (2020).
Maiello, G., Harrison, W. J., Bex, P. J. Monocular and binocular contributions to oculomotor plasticity. Scientific Reports. 6, 31861 (2016).
Caoli, A., et al. A dichoptic feedback-based oculomotor training method to manipulate interocular alignment. Scientific Reports. 10, 15634 (2020).
Gibaldi, A., Vanegas, M., Bex, P. J., Maiello, G. Evaluation of the Tobii EyeX eye tracking controller and Matlab toolkit for research. Behavior Research Methods. 49 (3), 923-946 (2017).
Chessa, M., Maiello, G., Borsari, A., Bex, P. J. The Perceptual quality of the Oculus Rift for immersive virtual reality. Human-Computer Interaction. 34 (1), 51-82 (2016).
Maiello, G., Chessa, M., Bex, P. J., Solari, F. Near-optimal combination of disparity across a log-polar scaled visual field. PLoS Computational Biology. 16 (4), 1007699 (2020).
Maiello, G., Chessa, M., Solari, F., Bex, P. J. The (in)effectiveness of simulated blur for depth perception in naturalistic images. PLoS One. 10 (10), 0140230 (2015).
Maiello, G., Chessa, M., Solari, F., Bex, P. J. Simulated disparity and peripheral blur interact during binocular fusion. Journal of Vision. 14 (8), 13 (2014).
Maiello, G., Kerber, K. L., Thorn, F., Bex, P. J., Vera-Diaz, F. A. Vergence driven accommodation with simulated disparity in myopia and emmetropia. Experimental Eye Research. 166, 96-105 (2018).
Moscatelli, A., et al. The change in fingertip contact area as a novel proprioceptive cue. Current Biology. 26 (9), 1159-1163 (2016).

Play Video

PDF

DOI

DOWNLOAD MATERIALS LIST

Cite This Article

Hartmann, F., Maiello, G., Rothkopf, C. A., Fleming, R. W. Estimation of Contact Regions Between Hands and Objects During Human Multi-Digit Grasping. J. Vis. Exp. (194), e64877, doi:10.3791/64877 (2023).