Summary

Charakterisierung des Sinnes der Agentur über die Aktionen der Neural-Maschine-Schnittstelle betrieben Prothesen

Published: January 07, 2019
doi:

Summary

Hier präsentieren wir ein Protokoll, das Gefühl der Agentur entwickelt, die Kontrolle über sinnlich virtuell oder Roboter Handprothesen charakterisiert. Psycho-physischen Fragebögen werden eingesetzt, um die explizite Erfahrung der Agentur zu erfassen, und Intervall Zeitschätzungen (vorsätzliche Bindung) werden eingesetzt, um implizit das Gefühl der Agentur messen.

Abstract

Diese Arbeit beschreibt einen methodischen Rahmen, der verwendet werden kann, um explizit und implizit charakterisieren das Gefühl der Agentur entwickelte sich im Laufe der neural-Maschine-Schnittstelle (NMI) Kontrolle der sinnlich virtuell oder Roboter Handprothesen. Die Bildung der Agentur ist von grundlegender Bedeutung bei der Unterscheidung der Aktionen, die wir mit unserer Gliedmaßen als unsere eigenen ausführen. Durch das Streben, erweiterte Prothesen der oberen Extremität in dieser gleichen perzeptuellen Mechanismen zu integrieren, können wir beginnen, eine Prothese des Benutzers vorhandenen kognitiven Rahmen für Gliedmaßen Kontrolle stärker integrieren. Dies hat gravierende Auswirkungen bei der Förderung der Akzeptanz, Nutzung und wirksame Kontrolle der fortgeschrittenen Prothesen der oberen Extremität. In diesem Protokoll Teilnehmer einer virtuellen Handprothese zu kontrollieren und kinästhetisches sensorisches Feedback über ihre bereits vorhandene NMIs erhalten. Eine Reihe von virtuellen greifen Aufgaben durchgeführt und Störungen werden systematisch in die kinästhetischen Rückmeldungen und virtuelle Handbewegungen eingeführt. Zwei verschiedene Maßnahmen der Agentur beschäftigt: etablierte psychophysischen Fragebögen (um die explizite Erfahrung der Agentur zu erfassen) und einem Zeitintervall schätzen Aufgabe um die impliziten Gefühl der Agentur (vorsätzliche Bindung) zu erfassen. Ergebnisse dieses Protokolls (Fragebogen Partituren und Zeitintervall schätzt) können analysiert werden, um das Ausmaß der Agentur Bildung zu quantifizieren.

Introduction

Wie Roboter Prothesen immer weit fortgeschritten, wird die Bedeutung der relevanten sensorisches Feedback weiter wachsen. Sensorisches Feedback wirkt sich wie Menschen wahrnehmen, interagieren und sogar ihre Körperschemas Maschinen integrieren. Den letzten NMI-Techniken können jetzt bieten Prothese Nutzern intuitive Steuerung und erreichen mit verbundenen Empfindungen berühren1,2,3,4,5,6 , 7 und Kinästhesie (Bewegung Sinn)8,9 in fehlenden Gliedmaßen. Wenn diese sensorische Informationen mit den visuellen Informationen durch die Beobachtung der künstlichen Gliedmaßen während des Betriebs gekoppelt ist, haben wir Zugriff auf wichtige Elemente, die die Unterscheidung von selbst-versusinformieren-andere. Nutzen diesen Zugang kann helfen, Prothese Benutzer einen Schritt näher zu bringen, um eine Prothese als Teil ihres Körpers, anstatt nur ein Werkzeug in Betrieb.

Körperbewusstsein und das Gefühl des Seins verkörpert ergibt sich aus der Einrichtung der Agentur (die Erfahrung der Urheberschaft einer Extremität Aktionen) und Besitz (das Gefühl, dass ein Glied ein Teil des Körpers ist)10,11. Eigentum ist in erster Linie durch die Integration von Touch und visuelle Informationen12vermittelt. Agentur ergibt sich aus der Integration von Absicht, Bewegung Empfindung (Kinästhesie), visuelle Informationen und kognitive Vorhersagemodelle11. Während der Aufführung einer freiwilligen Aktion Agentur entsteht, wenn die sensorischen Folgen dieser Aktion mit dem ausführenden Absicht und Vorhersagen aus der Performer interne Modelle13ausrichten. Agentur ist verschieden vom Besitz. Das Konzept der Eigenverantwortung der Gliedmaßen wurde häufig in Prothese Literatur14untersucht. Ein Gefühl der Extremität Eigentum Formen in NMI Teilnehmer beim Touch Feedback räumlich und zeitlich angemessen, da die gemessenen explizit durch Fragebögen oder implizit durch stumpfes Temperaturänderungen oder zeitliche Reihenfolge Urteile15ist. Jedoch gab es weniger Möglichkeiten zur Erkundung der Agentur im Rahmen des NMI16. Jüngsten Arbeiten mit NMI Teilnehmer hat gezeigt, dass Agentur gezielt gefördert werden kann und ist unabhängig von der Erfahrung des Eigentums8.

Agentur ist besonders wichtig in den Betrieb der Roboter Prothesen wie eine kognitive Verbindung zur Steuerung der Prothese körperliche Handlungen durch Erfahrungen der Kausalität, das Gefühl der Kontrolle der künstlichen Gliedmaßen oder etwas zu verursachen passieren Sie,17. Roboter-Prothesen sind erweiterte computergesteuerte Maschinen, die der Benutzer zusammenarbeiten muss Aufgaben effektiv erledigen. Einige Prothesen haben autonome Funktionen wie Griff-Rutsch Erkennung und Korrektur aufgenommen; Diese Systeme haben noch begrenzte Annahme gesehen, wie Funktionalität, die außerhalb der Kontrolle des Benutzers laufen so frustrierend eingesehen werden, wenn nicht entsprechend umgesetzt8,18. Dies stellt eine grundlegende Herausforderung, die in Anwendungen der menschlichen Zusammenarbeit mit autonomen Maschinen aufgegriffen wird. Das heißt, Menschen Vertrauen oft ihre eigenen Handlungen über solche, die aus einer Zusammenarbeit mit Computern oder Maschinen und dieses Vertrauen beeinflusst direkt des Betreibers Wahrscheinlichkeit, die autonomen Funktionen19,20zu verwenden. Als Menschen Vertrauen wir von Haus aus uns selbst und unseren Körper für die Aktionen, die wir wollen; Wenn dies erreicht ist, schaffen wir einen inneren Sinn der Agentur. Interessanterweise ist die Gründung der Agentur im Mensch-Computer-Kooperationsmaßnahmen beeinflusst. Während der Mensch-Mensch kooperative Aufgaben kann ein gemeinsames Verständnis von Agentur über Bewegung21gebildet werden; jedoch schlägt die Literatur, dass gemeinsame Agentur während der Mensch-Maschine-Kooperation22,23belastet ist. Diese Herausforderungen spiegeln sich in Prothetik Obere Extremität Verwendung und Ausschussquoten robotische Geräte bleiben hoch, mit 23-39 % von Benutzern, die ihre Nutzung24absetzen. In der Tat lieber viele Prothese Benutzer immer noch Körper betriebene Systeme25. Diese Systeme die computergesteuerte Maschine aus den Regelkreis und mehr Paar eng Bewegung des Körpers des Benutzers auf die Prothese Bewegung über Drahtseile. Dies verstärkt weiter die Bedeutung der kognitiven Integration bei der Verwendung von erweiterten Prothesen. Wir empfehlen, dass NMI-Systeme eine Reihe von notwendigen sensorischen und motorischen Teile bieten, künstliche Gliedmaßen näher zu bewegen, um eine kooperative Gefühl der Agentur zu helfen, und dies wird maßgeblich fördern die Akzeptanz und die echte Integration dieser computergesteuerte Maschinen mit ihren Nutzern.

Agentur kann in verschiedener Weise gemessen werden. Die einfachsten Maßnahmen verwenden psychophysische Fragebögen oder Skalen explizit bitten die Teilnehmer, wen oder was sie schreiben ein Ereignis17,26,27. Diese stützt sich auf ein Individuum bestehende Wahrnehmung der “selbst” durch die Forderung der Teilnehmer zu schlussfolgernde Urteile des selbständigen Namensnennung (d.h., explizit zu beurteilen, ob “Ich” oder einer anderen juristischen Person für eine Aktion oder Veranstaltung verantwortlich war). Implizite Measures geben Einblick in den Hintergrund kognitive Prozesse, die während der motorischen Aktion und sensorischen Veranstaltungen auftreten. Diese Ansicht der Agentur versucht, das zu messen, die nicht ausdrücklich vom Individuum wahrgenommen wird. In der Regel wird dies erreicht, indem man Teilnehmer einen wahrgenommene Unterschied in selbst – und extern generiert zu charakterisieren, Aktionen, zum Beispiel mit Teilnehmern die Dauer der Zeit, die sie wahrgenommen berichten, um zwischen einem selbst und nach außen-generierte Ereignis auftreten 17 , 28. während der Aufführung des selbst erzeugten Aktionen Agentur implizit manifestiert sich als eine wahrnehmbare Kompression in der Zeit zwischen Aktionen und ihre sensorischen Konsequenzen, bekannt als vorsätzliche Bindung28. Wenn Personen die Zeit Wahrnehmung zwischen einer Aktion und ihrer Ergebnisse auftreten berichten, entspricht wahrgenommene kürzer Zeit zu einem stärker gegründeten Agentur29,30. Interessanterweise wurde nachgewiesen, dass explizite und implizite Maßnahmen nicht direkt korrelieren können, wie sie wahrscheinlich Charakterisierung sind unterschiedliche Wahrnehmungs Mechanismen17 , die zusammen das Gefühl der Agentur zu informieren. Einrichtung ein umfassenderes Verständnis der Agentur Bildung während des Gebrauchs der Prothese wird als solche wahrscheinlich experimentelle Protokolle mit expliziten und impliziten Maßnahmen erfordern.

Diese Arbeit beschreibt einen methodischen Rahmen, der verwendet werden kann, um explizit und implizit charakterisieren das Gefühl der Agentur die NMI Kontrolle über sinnlich virtuell oder Roboter Handprothesen entwickelt. Zwei Techniken zur Messung der Agentur während der Wahrnehmung einer sensomotorischen Objekt greifen werden hervorgehoben. Etablierten psychophysische Fragebögen werden eingesetzt, um die explizite Erfahrung der Agentur, zu erfassen, während Zeitschätzungen Intervall (vorsätzliche Bindung) beschäftigt sind, um das Gefühl der Agentur implizit zu messen.

Der Umfang dieses Protokolls ist, das Gefühl der Agentur im Zusammenhang mit einer NMI auszuwerten, die physiologisch relevanten aktive Motorsteuerung und kinästhetische Feedback bietet. Diese Techniken sind verallgemeinerbare auf virtuellen oder physischen prothetische NMI-Systeme. Es gibt minimale Beschränkungen auf die Bevölkerung, die zur Durchführung dieses Protokolls eingestellt werden können. Zum Beispiel nicht die Mobilität der oberen Gliedmaßen des Teilnehmers auf bilateraler Ebene beeinflusst werden (sie müssen eine solide Gliedmaße), und sie müssen die kognitive Fähigkeit besitzen, zeitbasierte Urteile und erfahrenen Empfindungen zu artikulieren.

Protocol

Dieses Protokoll zuvor genehmigt wurde und folgt den Richtlinien der Cleveland Clinic Humanforschung Ethik-Kommission. (1) Hardware und Software der NMI Jedes einzelnen Teilnehmers NMI Kontrolle und Feedback zu etablieren, so dass wenn sie versuchen, eine Bewegung auszuführen, sie sehen und eine virtuelle Prothese fühlen, dass Bewegung zu vollziehen. Eine Hand kinästhetische Wahrnehmung durch den Teilnehmer NMI zu generieren und die Kinematik der wahrgenommene Bewegung zu …

Representative Results

Das experimentelle Protokoll wurde mit drei Amputierte Teilnehmer Betrieb ein sinnlich virtuelle Prothese über ihre NMI8 (Abbildung 1) durchgeführt. Das Setup verwendet eine Teilnehmer-steuerbare virtuelle Hand bewegt durch vorprogrammierte kinematische Profile mit MuJoCo HAPTIX Physik-Engine31. Die virtuelle Hand war auf einem horizontalen Monitor vor den Teilnehmern an einem Ort räumlich deckungsgl…

Discussion

Hier wird ein methodischer Rahmen präsentiert, um die Erfahrung der Agentur gebildet während des Betriebs sinnlich Prothesen über NMIs charakterisieren. In diesem Zusammenhang ist die Agentur besonders relevant, da es körperliche Aktion kognitive Hintergrundprozessen überbrückt, die Wahrnehmung prägen. Durch eines Teilnehmers Prothese und NMI, haben wir direkten Zugriff auf eine Reihe von wichtige Elemente, die das Gefühl der Agentur zu etablieren: Absicht, Motorleistung und Bewegung Empfindung. Von Bede…

Disclosures

The authors have nothing to disclose.

Acknowledgements

Die Autoren möchten Madeline Newcomb danken für ihre Verdienste um die Figur-Generation. Diese Arbeit wurde durch die US-Steuerzahler durch eine NIH, Büro des Direktors, gemeinsamen Fonds finanziert Transformative R01-Forschungspreis (Grant #1R01NS081710-01) und der Defense Advanced Research Projects Agency (Vertragsnummer N66001-15-C-4015 unter der Schirmherrschaft des Biologie Technology Office Programm-Manager D. Weber).

Materials

LabVIEW 2015, Service Pack 1, Version 15.0.1f2 64-bit National Instruments, Austin, TX, USA Full or Pro Version We wrote custom software in LabVIEW to coordinate virtual prosthesis control with kinesthetic feedback as well as to present experimental conditions and record data.
8-Slot, USB CompactDAQ Chassis National Instruments, Austin, TX, USA cDAQ-9178
±60 V, 800 kS/s, 12-Bit, 8-Channel C Series Voltage Input Module National Instruments, Austin, TX, USA NI-9221
100 kS/s/ch Simultaneous, ±10 V, 4-Channel C Series Voltage Output Module National Instruments, Austin, TX, USA NI-9263
Custom Wearable Kinesthetic Tactor HDT Global, Solon, OH, USA N/A This item was custom made. Other methods of delivering kinesthetic feedback are acceptable as long as the participant feels the sensation of the hand moving in real-time with the movements of the virtual hand.
MuJoCo Physics Engine, HAPTIX Version Roboti LLC, Redmond, WA, USA mjhaptix150 Newer versions of MuJoCo should be acceptable as well. We used the MPL Gripper Model.
Myobock Electrodes, powered by Otto Bock EnergyPack in MyoBoy Battery Receptacle Ottobock, Duderstadt, Germany electrodes: 13E200=60
battery: 757B21
battery receptacle: 757Z191=2
Any setup that provides an amplified, filtered, and rectified EMG or neural control signal could be used.

References

  1. Kuiken, T. A., Marasco, P. D., Lock, B. A., Harden, R. N., Dewald, J. P. A. Redirection of cutaneous sensation from the hand to the chest skin of human amputees with targeted reinnervation. Proceedings of the National Academy of Sciences. 104 (50), 20061-20066 (2007).
  2. Hebert, J. S., et al. Novel targeted sensory reinnervation technique to restore functional hand sensation after transhumeral amputation. IEEE Transactions on Neural Systems and Rehabilitation Engineering. 22 (4), 765-773 (2014).
  3. Tan, D. W., et al. A neural interface provides long-term stable natural touch perception. Science Translational Medicine. 257 (6), (2014).
  4. Oddo, C. M., et al. Intraneural stimulation elicits discrimination of textural features by artificial fingertip in intact and amputee humans. eLife. 5 (MARCH2016), (2016).
  5. Raspopovic, S., et al. Bioengineering: Restoring natural sensory feedback in real-time bidirectional hand prostheses. Science Translational Medicine. 6 (222), (2014).
  6. Flesher, S. N., et al. Intracortical microstimulation of human somatosensory cortex. Science Translational Medicine. 8 (361), (2016).
  7. Tabot, G. A., et al. Restoring the sense of touch with a prosthetic hand through a brain interface. Proceedings of the National Academy of Sciences. 110 (45), 18279-18284 (2013).
  8. Marasco, P. D., et al. Illusory movement perception improves motor control for prosthetic hands. Science Translational Medicine. 10 (432), (2018).
  9. Horch, K., Meek, S., Taylor, T. G., Hutchinson, D. T. Object discrimination with an artificial hand using electrical stimulation of peripheral tactile and proprioceptive pathways with intrafascicular electrodes. IEEE Transactions on Neural Systems and Rehabilitation Engineering. 19 (5), 483-489 (2011).
  10. Braun, N., et al. The senses of agency and ownership: A review. Frontiers in Psychology. 9 (APR), (2018).
  11. Van Den Bos, E., Jeannerod, M. Sense of body and sense of action both contribute to self-recognition. Cognition. 85 (2), 177-187 (2002).
  12. Botvinick, M., Cohen, J. Rubber hands "feel" touch that eyes see. Nature. 391 (6669), 756 (1998).
  13. Gallagher, S. Philosophical conceptions of the self: Implications for cognitive science. Trends in Cognitive Sciences. 4 (1), 14-21 (2000).
  14. Niedernhuber, M., Barone, D. G., Lenggenhager, B. Prostheses as extensions of the body: Progress and challenges. Neuroscience & Biobehavioral Reviews. 92, 1-6 (2018).
  15. Marasco, P. D., Kim, K., Colgate, J. E., Peshkin, M. A., Kuiken, T. A. Robotic touch shifts perception of embodiment to a prosthesis in targeted reinnervation amputees. Brain. 134 (3), 747-758 (2011).
  16. Rognini, G., Blanke, O. Cognetics: Robotic Interfaces for the Conscious Mind. Trends in Cognitive Sciences. 20 (3), 162-164 (2016).
  17. Dewey, J. A., Knoblich, G. Do implicit and explicit measures of the sense of agency measure the same thing. PLoS ONE. 9 (10), (2014).
  18. Edwards, A. L. . Adaptive and Autonomous Switching: Shared Control of Powered Prosthetic Arms Using Reinforcement Learning. , (2016).
  19. Desai, M., Stubbs, K., Steinfeld, A., Yanco, H. Creating trustworthy robots: Lessons and inspirations from automated systems. Adaptive and Emergent Behaviour and Complex Systems – Proceedings of the 23rd Convention of the Society for the Study of Artificial Intelligence and Simulation of Behaviour, AISB 2009. , 49-56 (2009).
  20. Lee, J. D., See, K. A. Trust in automation: designing for appropriate reliance. Human Factors. 46 (1), 50-80 (2004).
  21. Moore, J. W. What is the sense of agency and why does it matter?. Frontiers in Psychology. 7 (AUG), 1-9 (2016).
  22. Obhi, S. S., Hall, P. Sense of agency in joint action: Influence of human and computer co-actors. Experimental Brain Research. 211 (3-4), 663-670 (2011).
  23. Sahaï, A., Pacherie, E., Grynszpan, O., Berberian, B. Co-representation of human-generated actions vs. machine-generated actions: Impact on our sense of we-Agency?. 2017 26th IEEE International Symposium on Robot and Human Interactive Communication (RO-MAN). , (2017).
  24. Biddiss, E., Chau, T. Upper limb prosthesis use and abandonment: A survey of the last 25 years. Prosthetics and Orthotics International. 31 (3), 236-257 (2007).
  25. Atkins, D. J., Heard, D. C. Y., Donovan, W. H. Epidemiologic overview of individuals with upper-limb loss and their reported research priorities. Journal of Prosthetics and Orthotics. 8 (1), 2-11 (1996).
  26. Kalckert, A., Ehrsson, H. H. Moving a Rubber Hand that Feels Like Your Own: A Dissociation of Ownership and Agency. Frontiers in Human Neuroscience. 6 (March), 1-14 (2012).
  27. Caspar, E. A., Cleeremans, A., Haggard, P. The relationship between human agency and embodiment. Consciousness and Cognition. 33, 226-236 (2015).
  28. Haggard, P., Clark, S., Kalogeras, J. Voluntary action and conscious awareness. Nature Neuroscience. 5 (4), 382-385 (2002).
  29. Engbert, K., Wohlschläger, A., Haggard, P. Who is causing what? The sense of agency is relational and efferent-triggered. Cognition. 107 (2), 693-704 (2008).
  30. Moore, J. W., Wegner, D. M., Haggard, P. Modulating the sense of agency with external cues. Consciousness and Cognition. 18 (4), 1056-1064 (2009).
  31. Kumar, V., Todorov, E. MuJoCo HAPTIX: A virtual reality system for hand manipulation. 2015 IEEE-RAS 15th International Conference on Humanoid Robots (Humanoids). , (2015).
  32. Kuiken, T. A., et al. Targeted reinnervation for enhanced prosthetic arm function in a woman with a proximal amputation: a case study. Lancet. 369 (9559), 371-380 (2007).

Play Video

Cite This Article
Schofield, J. S., Shell, C. E., Thumser, Z. C., Beckler, D. T., Nataraj, R., Marasco, P. D. Characterization of the Sense of Agency over the Actions of Neural-machine Interface-operated Prostheses. J. Vis. Exp. (143), e58702, doi:10.3791/58702 (2019).

View Video