تقدير أداء المدقق الإملائي لواجهة الدماغ والحاسوب المستندة إلى P300 مع تقدير زمن الانتقال المستند إلى المصنف
Summary
تقدم هذه المقالة طريقة لتقدير دقة واجهة الدماغ الحاسوبية (BCI) للمدقق الإملائي P300 في نفس اليوم باستخدام مجموعة بيانات اختبار صغيرة.
Abstract
يعد تقدير الأداء خطوة ضرورية في تطوير أنظمة واجهة الدماغ الحاسوبية (BCI) والتحقق من صحتها. لسوء الحظ ، حتى أنظمة BCI الحديثة بطيئة ، مما يجعل جمع البيانات الكافية للتحقق من الصحة مهمة تستغرق وقتا طويلا للمستخدمين النهائيين والمجربين على حد سواء. ومع ذلك ، بدون بيانات كافية ، يمكن أن يؤدي الاختلاف العشوائي في الأداء إلى استنتاجات خاطئة حول مدى جودة عمل BCI لمستخدم معين. على سبيل المثال ، تعمل تهجئة P300 عادة حوالي 1-5 أحرف في الدقيقة. يتطلب تقدير الدقة بدقة 5٪ 20 حرفا (4-20 دقيقة). على الرغم من استثمار الوقت هذا ، يمكن أن تصل حدود الثقة للدقة من 20 حرفا إلى ±23٪ اعتمادا على الدقة المرصودة. تبين أن الطريقة المنشورة سابقا ، تقدير زمن الانتقال القائم على المصنف (CBLE) ، مرتبطة ارتباطا وثيقا بدقة BCI. يقدم هذا العمل بروتوكولا لاستخدام CBLE للتنبؤ بدقة التدقيق الإملائي P300 للمستخدم من عدد قليل نسبيا من الأحرف (~ 3-8) من بيانات الكتابة. حدود الثقة الناتجة أكثر إحكاما من تلك التي تنتجها الطرق التقليدية. وبالتالي يمكن استخدام الطريقة لتقدير أداء BCI بسرعة أكبر و / أو بدقة أكبر.
Introduction
واجهات الدماغ الحاسوبية (BCIs) هي تقنية غير جراحية تسمح للأفراد بالتواصل من خلال الآلات مباشرة دون اعتبار للقيود المادية التي يفرضها الجسم. يمكن استخدام BCI كجهاز مساعد يتم تشغيله مباشرة بواسطة الدماغ. يستخدم BCI نشاط دماغ المستخدم لتحديد ما إذا كان المستخدم ينوي اختيار مفتاح معين (حرف أو رقم أو رمز) معروض على الشاشة1. في نظام الكمبيوتر النموذجي ، يضغط المستخدم فعليا على المفتاح المقصود على لوحة المفاتيح. ومع ذلك ، في نظام BCI مع شاشة مرئية ، يحتاج المستخدم إلى التركيز على المفتاح المطلوب. بعد ذلك ، سيختار BCI المفتاح المقصود من خلال تحليل إشارات الدماغ المقاسة1. يمكن قياس نشاط الدماغ باستخدام تقنيات مختلفة. على الرغم من وجود تقنيات BCIs متنافسة ، إلا أن مخطط كهربية الدماغ (EEG) يعتبر تقنية رائدة نظرا لطبيعته غير الغازية ، والدقة الزمنية العالية ، والموثوقية ، والتكلفة المنخفضة نسبيا2.
تشمل تطبيقات BCI الاتصالات والتحكم في الجهاز وكذلك الترفيه3،4،5،6. واحدة من أكثر مجالات تطبيق BCI نشاطا هي المدقق الإملائي P300 ، والذي تم تقديمه بواسطة Farwell و Donchin7. P300 هو احتمال مرتبط بالحدث (ERP) تم إنتاجه استجابة للتعرف على حافز نادر ولكنه ذو صلة8. عندما يتعرف الشخص على التحفيز المستهدف ، فإنه ينتج تلقائيا P300. يعد P300 إشارة فعالة ل BCI لأنه ينقل اعتراف المشارك بالحدث المستهدف دون الحاجة إلى استجابة خارجية9.
اجتذب P300 BCI باحثين من علوم الكمبيوتر والهندسة الكهربائية وعلم النفس والعوامل البشرية ومختلف التخصصات الأخرى. تم إحراز تقدم في معالجة الإشارات وخوارزميات التصنيف وواجهات المستخدم ومخططات التحفيز والعديد من المجالات الأخرى10،11،12،13،14،15. ومع ذلك ، بغض النظر عن مجال البحث ، فإن الخيط المشترك في كل هذا البحث هو ضرورة قياس أداء نظام BCI. تتطلب هذه المهمة عادة إنشاء مجموعة بيانات اختبار. هذه الضرورة لا تقتصر على البحث. من المحتمل أن يتطلب التطبيق السريري النهائي كتقنية مساعدة مجموعات تحقق فردية لكل مستخدم نهائي لضمان قدرة النظام على توليد اتصال موثوق.
على الرغم من الأبحاث الكبيرة المطبقة على P300 BCI ، لا تزال الأنظمة بطيئة للغاية. في حين أن غالبية الأشخاص قادرون على استخدام P300 BCI16 ، فإن معظم P300 Spellers تنتج نصا بترتيب 1-5 أحرف في الدقيقة. لسوء الحظ ، تعني هذه السرعة البطيئة أن إنشاء مجموعات بيانات الاختبار يتطلب وقتا وجهدا كبيرين للمشاركين والمجربين والمستخدمين النهائيين في نهاية المطاف. يعد قياس دقة نظام BCI مشكلة تقدير معلمة ذات حدين ، والعديد من أحرف البيانات ضرورية لتقدير جيد.
لتقدير وجود أو عدم وجود P300 ERP ، تستخدم معظم المصنفات نموذج تصنيف ثنائي ، والذي يتضمن تعيين تسمية ثنائية (على سبيل المثال ، “الحضور” أو “الغياب”) لكل تجربة أو حقبة من بيانات EEG. يمكن التعبير عن المعادلة العامة المستخدمة من قبل معظم المصنفات على النحو التالي:
حيث 
تسمى درجة المصنف ، والتي تمثل احتمال وجود استجابة P300 ، x هو متجه الميزة المستخرج من إشارة EEG ، و b هو مصطلح التحيز17. الدالة f هي دالة قرار تقوم بتعيين بيانات الإدخال إلى تسمية الإخراج ، ويتم تعلمها من مجموعة من بيانات التدريب المسماة باستخدام خوارزمية تعلم خاضعة للإشراف17. أثناء التدريب ، يتم تدريب المصنف على مجموعة بيانات مصنفة لإشارات EEG ، حيث يتم تصنيف كل إشارة على أنها إما لها استجابة P300 أم لا. تم تحسين متجه الوزن ومصطلح التحيز لتقليل الخطأ بين الإخراج المتوقع للمصنف والتسمية الحقيقية لإشارة EEG. بمجرد تدريب المصنف ، يمكن استخدامه للتنبؤ بوجود استجابة P300 في إشارات EEG الجديدة.
يمكن للمصنفات المختلفة استخدام وظائف قرار مختلفة ، مثل التحليل التمييزي الخطي (LDA) ، أو التحليل التمييزي الخطي التدريجي (SWLDA) ، أو المربعات الصغرى (LS) ، أو الانحدار اللوجستي ، أو آلات ناقلات الدعم (SVM) ، أو الشبكات العصبية (NNs). مصنف المربعات الصغرى هو مصنف خطي يقلل من مجموع الأخطاء التربيعية بين تسميات الفئة المتوقعة وتسميات الفئة الحقيقية. يتنبأ هذا المصنف بتسمية الفئة لعينة اختبار جديدة باستخدام المعادلة التالية:
(1)
حيث ترجع دالة الإشارة +1 إذا كان المنتج موجبا و -1 إذا كان سالبا ، ويتم الحصول على متجه 
الوزن من مجموعة الميزات لبيانات التدريب و (x) وتسميات الفئة (y) باستخدام المعادلة التالية:
(2)
في بحث سابق ، جادلنا بأنه يمكن استخدام تقدير زمن الانتقال القائم على المصنف (CBLE) لتقدير دقة BCI17،18،19. CBLE هي استراتيجية لتقييم تباين زمن الوصول من خلال استغلال الحساسية الزمنية للمصنف18. في حين أن النهج التقليدي لتصنيف P300 ينطوي على استخدام نافذة زمنية واحدة متزامنة مع كل عرض تحفيز ، فإن طريقة CBLE تتضمن إنشاء نسخ متعددة متغيرة زمنيا من عصور ما بعد التحفيز. ثم يكتشف التحول الزمني الذي ينتج عنه الحد الأقصى من الدرجات من أجل تقدير زمن انتقال استجابة P30017,18. هنا ، يقدم هذا العمل بروتوكولا يقدر أداء BCI من مجموعة بيانات صغيرة باستخدام CBLE. كتحليل تمثيلي ، يتم تغيير عدد الأحرف لعمل تنبؤات بالأداء العام للفرد. بالنسبة لمجموعتي البيانات المثاليتين ، تم حساب جذر متوسط مربع الخطأ (RMSE) ل vCBLE ودقة BCI الفعلية. تشير النتائج إلى أن RMSE من تنبؤات vCBLE ، باستخدام بياناتها المجهزة ، كانت باستمرار أقل من الدقة المستمدة من 1 إلى 7 أحرف تم اختبارها.
قمنا بتطوير واجهة مستخدم رسومية (GUI) تسمى “تقدير أداء CBLE” لتنفيذ المنهجية المقترحة. يتم توفير رمز المثال أيضا (ملف الترميز التكميلي 1) الذي يعمل على منصة MATLAB. ينفذ رمز المثال جميع الخطوات المطبقة في واجهة المستخدم الرسومية ، ولكن يتم توفير الخطوات لمساعدة القارئ في التكيف مع مجموعة بيانات جديدة. يستخدم هذا الرمز مجموعة بيانات متاحة للجمهور “BCI القائم على P300 لمعايرة غزاة الدماغ باستخدام مجموعة بيانات أقطاب EEG الجافة (bi2014a)” لتقييم الطريقة المقترحة20. لعب المشاركون ما يصل إلى ثلاث جلسات لعبة من Brain Invaders ، كل جلسة تحتوي على 9 مستويات من اللعبة. استمر جمع البيانات حتى تم الانتهاء من جميع المستويات أو فقد المشارك كل السيطرة على نظام BCI. تضمنت واجهة Brain Invaders 36 رمزا تومض في 12 مجموعة من ستة كائنات فضائية. وفقا لنموذج Brain Invaders P300 ، تم إنشاء التكرار بواسطة 12 ومضة ، واحدة لكل مجموعة. من بين هذه الومضات ال 12 ، احتوت ومضتان على رمز الهدف (المعروف باسم ومضات الهدف) ، بينما لم تحتوي الومضات ال 10 المتبقية على رمز الهدف (المعروف باسم الومضات غير الهدف). يمكن العثور على مزيد من المعلومات حول هذا النموذج في المرجع الأصلي20.
تم تنفيذ نهج CBLE أيضا على مجموعة بيانات ميشيغان ، والتي احتوت على بيانات من 40 مشاركا18,19. هنا ، كان لا بد من تجاهل بيانات ثمانية مشاركين لأن مهامهم كانت غير مكتملة. تطلبت الدراسة بأكملها ثلاث زيارات من كل مشارك. في اليوم الأول ، كتب كل مشارك جملة تدريبية مكونة من 19 حرفا ، تليها ثلاث جمل اختبار مكونة من 23 حرفا في الأيام 1 و 2 و 3. في هذا المثال ، تضمنت لوحة المفاتيح 36 حرفا تم تجميعها في ستة صفوف وستة أعمدة. تم وميض كل صف أو عمود لمدة 31.25 مللي ثانية بفاصل زمني قدره 125 مللي ثانية بين الومضات. بين الأحرف ، تم توفير وقفة 3.5 ثانية.
يوضح الشكل 1 مخطط الكتلة للطريقة المقترحة. يتم وصف الإجراء التفصيلي في قسم البروتوكول.
Protocol
Representative Results
Discussion
حددت هذه المقالة طريقة لتقدير دقة BCI باستخدام مجموعة بيانات P300 صغيرة. هنا ، تم تطوير البروتوكول الحالي بناء على مجموعة بيانات “bi2014a” ، على الرغم من تأكيد فعالية البروتوكول على مجموعتي بيانات مختلفتين. لتنفيذ هذه التقنية بنجاح ، من الأهمية بمكان إنشاء متغيرات معينة ، مثل نافذة الحقبة للبيان?…
Divulgations
The authors have nothing to disclose.
Acknowledgements
تم جمع البيانات المستخدمة للنتائج التمثيلية من العمل المدعوم من المعهد الوطني لصحة الطفل والتنمية البشرية (NICHD) ، والمعاهد الوطنية للصحة (NIH) بموجب Grant R21HD054697 ، والمعهد الوطني لأبحاث الإعاقة وإعادة التأهيل (NIDRR) في وزارة التعليم بموجب H133G090005 المنح والجائزة رقم H133P090008. تم تمويل بقية العمل جزئيا من قبل المؤسسة الوطنية للعلوم (NSF) بموجب جائزة #1910526. النتائج والآراء في هذا العمل لا تعكس بالضرورة مواقف NICHD أو المعاهد الوطنية للصحة أو NIDRR أو NSF.
References
- Rezeika, A., Benda, M., Stawicki, P., Gembler, F., Saboor, A., Volosyak, I. Brain-Computer Interface spellers: A review. Brain Science. 8 (4), 57 (2018).
- Gannouni, S., Aledaily, A., Belwafi, K., Aboalsamh, H. Emotion detection using electroencephalography signals and a zero-time windowing-based epoch estimation and relevant electrode identification. Scientific Reports. 11 (1), 7071 (2021).
- Daly, J. J., Wolpaw, J. R. Brain-computer interfaces in neurological rehabilitation. Lancet Neurology. 7 (11), 1032-1043 (2008).
- Birbaumer, N. Breaking the silence: brain-computer interfaces (BCI) for communication and motor control. Psychophysiology. 43 (6), 517-532 (2006).
- Riccio, A., Simione, L., Schettini, F., Pizzimenti, A., Inghilleri, M., Belardinelli, M. O. Attention and P300-based BCI performance in people with amyotrophic lateral sclerosis. Frontiers in Human Neuroscience. 7, 732 (2013).
- Finke, A., Lenhardt, A., Ritter, H. The MindGame: a P300-based brain-computer interface game. Neural Network. 22 (9), 1329-1333 (2009).
- Farwell, L. A., Donchin, E. Talking off the top of your head: toward a mental prosthesis utilizing event-related brain potentials. Electroencephalogr. Clinical Neurophysiology. 70 (6), 510-523 (1988).
- Li, Q., Lu, Z., Gao, N., Yang, J. Optimizing the performance of the visual P300-speller through active mental tasks based on color distinction and modulation of task difficulty. Frontiers in Human Neuroscience. 13, 130 (2019).
- McFarland, D. J., Sarnacki, W. A., Townsend, G., Vaughan, T., Wolpaw, J. R. The P300-based brain-computer interface (BCI): effects of stimulus rate. Clinical Neurophysiology. 122 (4), 731-737 (2011).
- Krusienski, D. J., Sellers, E. W., Cabestaing, F., Bayoudh, S., McFarland, D. J., Vaughan, T. M. A comparison of classification techniques for the P300 Speller. Journal of Neural Engineering. 3 (4), 299-305 (2006).
- Sellers, E. W., Donchin, E. A P300-based brain-computer interface: initial tests by ALS patients. Clinical Neurophysiology. 117 (3), 538-548 (2006).
- Donchin, E., Spencer, K. M., Wijesinghe, R. The mental prosthesis: assessing the speed of a P300-based brain-computer interface. IEEE Transactions on Rehabilitation Engineering. 8 (2), 174-179 (2000).
- Höhne, J., Schreuder, M., Blankertz, B., Tangermann, M. A novel 9-class auditory ERP paradigm driving a predictive text entry system. Frontiers in Neuroscience. 5, 99 (2011).
- Acqualagna, L., Treder, M. S., Blankertz, B. Chroma Speller: Isotropic visual stimuli for truly gaze-independent spelling. , (2013).
- Townsend, G., LaPallo, B. K., Boulay, C. B., Krusienski, D. J., Frye, G. E., Hauser, C. K. A novel P300-based brain-computer interface stimulus presentation paradigm: moving beyond rows and columns. Clinical Neurophysiology. 121 (7), 1109-1120 (2010).
- Guger, C., Daban, S., Sellers, E., Holzner, C., Krausz, G., Carabalona, R. How many people are able to control a P300-based brain-computer interface (BCI). Neuroscience Letters. 462 (1), 94-98 (2009).
- Mowla, M. R., Gonzalez-Morales, J. D., Rico-Martinez, J., Ulichnie, D. A., Thompson, D. E. A comparison of classification techniques to predict Brain-computer interfaces accuracy using classifier-based latency estimation. Brain Science. 10 (10), 734 (2020).
- Thompson, D. E., Warschausky, S., Huggins, J. E. Classifier-based latency estimation: a novel way to estimate and predict BCI accuracy. Journal of Neural Engineering. 10 (1), 016006 (2012).
- Thompson, D. E., Gruis, K. L., Huggins, J. E. A plug-and-play brain-computer interface to operate commercial assistive technology. Disability and Rehabilitation: Assistive Technology. 9 (2), 144-150 (2014).
- Korczowski, L., Ostaschenko, E., Andreev, A., Cattan, G., Coelho Rodrigues, P. L., Gautheret, V., Congedo, M. Brain Invaders calibration-less P300-based BCI using dry EEG electrodes Dataset (bi2014a) [Data set]. Zenodo. , (2019).
- Krusienski, D. J., Sellers, E. W., Cabestaing, F., Bayoudh, S., McFarland, D. J., Vaughan, T. M., Wolpaw, J. R. A comparison of classification techniques for the P300 Speller. Journal of Neural Engineering. 3 (4), 299-305 (2006).
