ממשק מוח-מחשב לביש חד-ערוצי ולא פולשני לתעשייה ולשירותי בריאות
Summary
מאמר זה דן כיצד לבנות ממשק מוח-מחשב על-ידי הסתמכות על ציוד ברמת הצרכן ופוטנציאלים חזותיים במצב יציב. לשם כך, אלקטרואנצפלוגרף חד-ערוצי המנצל אלקטרודות יבשות שולב עם משקפי מציאות רבודה להצגת גירויים והדמיית נתוני פלט. המערכת הסופית הייתה לא פולשנית, לבישה וניידת.
Abstract
העבודה הנוכחית מתמקדת כיצד לבנות ממשק מוח-מחשב לביש (BCI). ממשקי מוח-מחשב הם אמצעי חדשני לאינטראקציה בין אדם למחשב המסתמך על מדידות ישירות של אותות מוחיים כדי לסייע הן לאנשים עם מוגבלויות והן לאנשים בעלי יכולת. דוגמאות ליישומים כוללות בקרה רובוטית, בדיקה תעשייתית ושיקום עצבי. יש לציין כי מחקרים שנערכו לאחרונה הראו כי פוטנציאלים מעוררי ראייה במצב יציב (SSVEPs) מתאימים במיוחד ליישומי תקשורת ובקרה, ונעשים כיום מאמצים להביא את טכנולוגיית BCI לחיי היומיום. כדי להשיג מטרה זו, המערכת הסופית חייבת להסתמך על מכשור לביש, נייד וזול. בניצול SSVEPs, נדרש גירוי חזותי מהבהב עם תדרים קבועים. כך, תוך התחשבות באילוצים יומיומיים, נבדקה במחקר זה האפשרות לספק גירויים חזותיים באמצעות משקפיים חכמים. יתר על כן, כדי לזהות את הפוטנציאלים שעוררו, נשקל מכשיר מסחרי לאלקטרואנצפלוגרפיה (EEG). זה מורכב מתעלה דיפרנציאלית אחת עם אלקטרודות יבשות (ללא ג’ל מוליך), ובכך משיג את הלבישה והניידות המרביות. בממשק מוח-מחשב כזה, המשתמש יכול לתקשר עם המשקפיים החכמים רק על ידי בהייה בסמלים המופיעים על הצג. על בסיס עיקרון פשוט זה, ממשק מוח-מחשב ידידותי למשתמש ובעלות נמוכה נבנה על ידי שילוב משקפי מציאות מורחבת (XR) עם מכשיר EEG זמין מסחרית. הפונקציונליות של XR-BCI לביש זה נבחנה באמצעות קמפיין ניסיוני שכלל 20 נבדקים. דיוק הסיווג היה בין 80%-95% בממוצע בהתאם לזמן הגירוי. לאור תוצאות אלה, המערכת יכולה לשמש כממשק אדם-מכונה לבדיקה תעשייתית, אך גם לשיקום בהפרעות קשב וריכוז ואוטיזם.
Introduction
ממשק מוח-מחשב (BCI) הוא מערכת המאפשרת תקשורת ו/או בקרה של מכשירים ללא מסלולים עצביים טבעיים1. טכנולוגיית ממשק מוח-מחשב היא הדבר הקרוב ביותר שיש לאנושות לשלוט באובייקטים בכוח המוח. מנקודת מבט טכנית, פעולת המערכת פועלת על ידי מדידת פעילות מוחית מושרית או מעוררת, אשר יכולה להיווצר באופן לא רצוני או מרצון מהנושא2. מבחינה היסטורית, המחקר התמקד בסיוע לאנשים עם מוגבלויות מוטוריות באמצעות ממשק מוח-מחשב3, אך מספר גדל והולך של חברות מציעות כיום מכשור מבוסס ממשק מוח-מחשב למשחקים4, רובוטיקה5, תעשייה6 ויישומים אחרים הכוללים אינטראקציה בין אדם למכונה. יש לציין כי ממשקי מוח-מחשב עשויים למלא תפקיד במהפכה התעשייתית הרביעית, כלומר בתעשייה 4.07, שבה מערכות ייצור סייבר-פיזיות משנות את האינטראקציה בין בני אדם לסביבה8. באופן כללי, הפרויקט האירופי BNCI Horizon 2020 זיהה תרחישי יישום כגון החלפה, שחזור, שיפור, שיפור או השלמה של תפקודים טבעיים שאבדו של מערכת העצבים המרכזית, כמו גם שימוש בממשק מוח-מחשב בחקירת המוח9.
במסגרת זו, ההתקדמות הטכנולוגית האחרונה פירושה שממשקי מוח-מחשב עשויים להיות ישימים לשימוש בחיי היומיום10,11. כדי להשיג מטרה זו, הדרישה הראשונה היא לא פולשנית, אשר חשובה כדי למנוע את הסיכונים של התערבות כירורגית והגדלת קבלת המשתמש. עם זאת, ראוי לציין כי הבחירה בדימות מוחי לא פולשני משפיעה על איכות אותות המוח הנמדדים, ותכנון ה- BCI חייב להתמודד עם המלכודות הקשורות12. בנוסף, נדרשות לבישות, וניידות. דרישות אלה עולות בקנה אחד עם הצורך במערכת ידידותית למשתמש, אך גם מציבות כמה אילוצים. בסך הכל, אילוצי החומרה שהוזכרו מטופלים על ידי שימוש במערכת אלקטרואנצפלוגרפית (EEG) עם אלקטרודות נטולות ג’ל6. ממשק מוח-מחשב מבוסס EEG כזה יהיה גם הוא בעלות נמוכה. בינתיים, מבחינת התוכנה, אימון משתמש מינימלי (או באופן אידיאלי ללא הכשרה) יהיה רצוי; כלומר, עדיף להימנע מפרקי זמן ארוכים לכוונון אלגוריתם העיבוד לפני שהמשתמש יכול להשתמש במערכת. היבט זה הוא קריטי בממשקי מוח-מחשב בגלל אי-סטציונריות בין-סובייקטיבית ותוך-נושאית13,14.
ספרות קודמת הוכיחה כי הזיהוי של פוטנציאלים מוחיים מעוררים הוא חזק ביחס לאי-סטציונריות ורעש ברכישת אותות. במילים אחרות, ממשקי מוח-מחשב המסתמכים על זיהוי פוטנציאל מעורר נקראים תגובתיים, והם ממשקי המוח-מחשב בעלי הביצועים הטובים ביותר במונחים של זיהוי דפוסי מוח15. עם זאת, הם דורשים גירוי חושי, וזה כנראה החיסרון העיקרי של ממשקים כאלה. מטרת השיטה המוצעת היא, אם כן, לבנות ממשק מוח-מחשב לביש ונייד ביותר המסתמך על מכשור לביש מהמדף. הגירויים החושיים כאן מורכבים מאורות מהבהבים, הנוצרים על ידי משקפיים חכמים, המסוגלים לעורר פוטנציאלים חזותיים במצב יציב (SSVEPs). עבודות קודמות כבר שקלו לשלב ממשק מוח-מחשב עם מציאות מדומה לבד או בשילוב עם מציאות רבודה16. לדוגמה, הוצעה מערכת BCI-AR לשליטה ברחפן עם SSVEP17. מציאות מדומה, מציאות רבודה ופרדיגמות אחרות מכונות במונח מציאות מורחבת. בתרחיש כזה, הבחירה במשקפיים חכמים עומדת בדרישות הלבישות והניידות, וניתן לשלב משקפיים חכמים עם מערך רכישה מינימלי של EEG. מאמר זה מראה כי ממשק מוח-מחשב מבוסס SSVEP דורש גם הכשרה מינימלית תוך השגת ביצועי סיווג מקובלים עבור יישומי תקשורת ובקרה במהירות נמוכה-בינונית. לפיכך, הטכניקה מיושמת על ממשק מוח-מחשב עבור יישומים בחיי היומיום, והיא נראית מתאימה במיוחד לתעשייה ולבריאות.
Protocol
Representative Results
Discussion
תפקודה התקין של המערכת כרוך בשני היבטים מכריעים: אליציטוט SSVEP ורכישת אותות. מלבד המכשירים הספציפיים שנבחרו למחקר הנוכחי, SSVEP יכול להיות מופעל עם מכשירים שונים המספקים אור מהבהב, אם כי משקפיים חכמים עדיפים כדי להבטיח לבישות וניידות. באופן אנלוגי, ניתן לשקול אלקטרואנצפלוגרפים מסחריים נוספי?…
Disclosures
The authors have nothing to disclose.
Acknowledgements
עבודה זו בוצעה כחלק מפרויקט ICT לבריאות, אשר נתמך כספית על ידי משרד החינוך האיטלקי, האוניברסיטה והמחקר (MIUR), תחת היוזמה מחלקות מצוינות (חוק התקציב האיטלקי מס ‘232/2016), באמצעות מענק מצוינות שהוענק למחלקה לטכנולוגיית מידע והנדסת חשמל של אוניברסיטת נאפולי פדריקו השני, נאפולי, איטליה. הפרויקט אכן התאפשר הודות לתמיכה של יוזמת Res4Net ושל TC-06 (טכנולוגיות מתפתחות במדידות) של IEEE Instrumentation and Measurement Society. המחברים רוצים גם להודות ל ‘Callegaro, א Cioffi, ס ‘Criscuolo, א Cultrera, G. De Blasi, E. De Benedetto, L. Duraccio, E. Leone, ו M. Ortolano על תרומתם היקרה בפיתוח, בדיקה, ותיקוף המערכת.
Materials
| Conductive rubber with Ag/AgCl coating | ab medica s.p.a. | N/A | Alternative electrodes – type 2 |
| Earclip electrode | OpenBCI | N/A | Ear clip |
| EEG-AE | Olimex | N/A | Active electrodes |
| EEG-PE | Olimex | N/A | Passive electrode |
| EEG-SMT | Olimex | N/A | Low-cost electroencephalograph |
| Moverio BT-200 | Epson | N/A | Smart glasses |
| Snap electrodes | OpenBCI | N/A | Alternative electrodes – type 1 |
References
- Wolpaw, J. R., et al. Brain-computer interface technology: A review of the first international meeting. IEEE Transactions on Rehabilitation Engineering. 8 (2), 164-173 (2000).
- Zander, T. O., Kothe, C., Jatzev, S., Gaertner, M., Tan, D. S., Nijholt, A. Enhancing human-computer interaction with input from active and passive brain-computer interfaces. Brain-Computer Interfaces. , 181-199 (2010).
- Ron-Angevin, R., et al. Brain-computer interface application: Auditory serial interface to control a two-class motor-imagery-based wheelchair. Journal of Neuroengineering and Rehabilitation. 14 (1), 49 (2017).
- Ahn, M., Lee, M., Choi, J., Jun, S. C. A review of brain-computer interface games and an opinion survey from researchers, developers and users. Sensors. 14 (8), 14601-14633 (2014).
- Bi, L., Fan, X. A., Liu, Y. EEG-based brain-controlled mobile robots: A survey. IEEE Transactions on Human-Machine Systems. 43 (2), 161-176 (2013).
- Arpaia, P., Callegaro, L., Cultrera, A., Esposito, A., Ortolano, M. Metrological characterization of a low-cost electroencephalograph for wearable neural interfaces in industry 4.0 applications. IEEE International Workshop on Metrology for Industry 4.0 & IoT (MetroInd4. 0&IoT). , 1-5 (2021).
- Rüßmann, M., et al. Industry 4.0: The future of productivity and growth in manufacturing industries. Boston Consulting Group. 9 (1), 54-89 (2015).
- Angrisani, L., Arpaia, P., Moccaldi, N., Esposito, A. Wearable augmented reality and brain computer interface to improve human-robot interactions in smart industry: A feasibility study for SSVEP signals. IEEE 4th International Forum on Research and Technology for Society and Industry (RTSI). , 1-5 (2018).
- Brunner, C., et al. BNCI Horizon 2020: Towards a roadmap for the BCI community. Brain-Computer Interfaces. 2 (1), 1-10 (2015).
- Yin, E., Zhou, Z., Jiang, J., Yu, Y., Hu, D. A dynamically optimized SSVEP brain-computer interface (BCI) speller. IEEE Transactions on Biomedical Engineering. 62 (6), 1447-1456 (2014).
- Chen, L., et al. Adaptive asynchronous control system of robotic arm based on augmented reality-assisted brain-computer interface. Journal of Neural Engineering. 18 (6), 066005 (2021).
- Ball, T., Kern, M., Mutschler, I., Aertsen, A., Schulze-Bonhage, A. Signal quality of simultaneously recorded invasive and non-invasive EEG. Neuroimage. 46 (3), 708-716 (2009).
- Grosse-Wentrup, M. What are the causes of performance variation in brain-computer interfacing. International Journal of Bioelectromagnetism. 13 (3), 115-116 (2011).
- Arpaia, P., Esposito, A., Natalizio, A., Parvis, M. How to successfully classify EEG in motor imagery BCI: A metrological analysis of the state of the art. Journal of Neural Engineering. 19 (3), (2022).
- Ajami, S., Mahnam, A., Abootalebi, V. Development of a practical high frequency brain-computer interface based on steady-state visual evoked potentials using a single channel of EEG. Biocybernetics and Biomedical Engineering. 38 (1), 106-114 (2018).
- Friedman, D., Nakatsu, R., Rauterberg, M., Ciancarini, P. Brain-computer interfacing and virtual reality. Handbook of Digital Games and Entertainment Technologies. , 151-171 (2015).
- Wang, M., Li, R., Zhang, R., Li, G., Zhang, D. A wearable SSVEP-based BCI system for quadcopter control using head-mounted device. IEEE Access. 6, 26789-26798 (2018).
- Arpaia, P., Callegaro, L., Cultrera, A., Esposito, A., Ortolano, M. Metrological characterization of consumer-grade equipment for wearable brain-computer interfaces and extended reality. IEEE Transactions on Instrumentation and Measurement. 71, 1-9 (2021).
- Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. Brain-computer interfaces for communication and control. Clinical Neurophysiology. 113 (6), 767-791 (2002).
- Duszyk, A., et al. Towards an optimization of stimulus parameters for brain-computer interfaces based on steady state visual evoked potentials. PLoS One. 9 (11), 112099 (2014).
- Prasad, P. S., et al. SSVEP signal detection for BCI application. IEEE 7th International Advance Computing Conference (IACC). , 590-595 (2017).
- Xing, X., et al. A high-speed SSVEP-based BCI using dry EEG electrodes). Scientific Reports. 8, 14708 (2018).
- Luo, A., Sullivan, T. J. A user-friendly SSVEP-based brain-computer interface using a time-domain classifier. Journal of Neural Engineering. 7 (2), 026010 (2010).
