تصميم وتحليل لتبسيط نظام الكشف عن السقوط

إنشاء قاعدة بياناتأنشأنا مجموعة بيانات متعددة الوسائط للكشف عن السقوط والتعرف على النشاط البشري، وهي الكشف عن UP-Fall21. وقد جُمعت البيانات على مدى أربعة أسابيع في كلية الهندسة في جامعة بانأمريكانا (مكسيكو سيتي، المكسيك). وقد اختير سيناريو الاختبار بالنظر إلى المتطلبات التالية: (أ) حيز يمكن فيه للمواضيع أن تؤدي السقوط والأنشطة بشكل مريح وآمن، و(ب) بيئة داخلية ذات ضوء طبيعي واصطناعي مناسب تماماً لإعدادات أجهزة الاستشعار المتعددة الوسائط. هناك عينات بيانات من 17 موضوعًا قام بها 5 أنواع من السقوط و6 أنشطة بسيطة مختلفة ، خلال 3 تجارب. تم جمع جميع المعلومات باستخدام نظام داخلي للحصول على البيانات مع 5 أجهزة استشعار يمكن ارتداؤها (مقياس التسارع ثلاثي المحاور ، جيروسكوب وكثافة الضوء) ، وخوذة كهربائية واحدة ، و 6 مستشعرات الأشعة تحت الحمراء كمستشعرات محيطة ، و2 كاميرتين في وجهات النظر الجانبية والأمامية. ويبين الشكل 1 تخطيط موضع المستشعر في البيئة وعلى الجسم. معدل أخذ العينات من مجموعة البيانات بأكملها هو 18 هرتز. تحتوي قاعدة البيانات على مجموعتين من البيانات: مجموعة البيانات الخام الموحدة (812 جيجابايت)، ومجموعة بيانات الميزات (171 جيجابايت). جميع قواعد البيانات وير المخزنة في سحابة للوصول العام: https://sites.google.com/up.edu.mx/har-up/. ويمكن الاطلاع على مزيد من التفاصيل عن الحصول على البيانات وتجهيزها مسبقا وتوحيدها وتخزينها، فضلا عن تفاصيل عن التزامن واتساق البيانات في مارتينيز – فيليسينيور وآخرون21. وبالنسبة لقاعدة البيانات هذه، كان جميع الأشخاص من المتطوعين الشباب الأصحاء (9 ذكور و 8 إناث) دون أي إعاقة، وتراوحت أعمارهم بين 18 و 24 سنة، ويتراوح متوسط الطول بين 1.66 متر والوزن المتوسط 66.8 كيلوغراما. وأثناء جمع البيانات، كان الباحث المسؤول التقني يشرف على أن جميع الأنشطة يقوم بها الأشخاص بشكل صحيح. أجرى الأشخاص خمسة أنواع من السقوط ، كل واحد لمدة 10 ثوان ، كما السقوط: إلى الأمام باستخدام اليدين (1) ، إلى الأمام باستخدام الركبتين (2) ، إلى الوراء (3) ، والجلوس في كرسي فارغ (4) وجنب (5). كما قاموا بستة أنشطة يومية لمدة 60 سنة لكل منها باستثناء القفز (30 سنة): المشي (6)، الوقوف (7)، التقاط جسم (8)، الجلوس (9)، القفز (10) ووضع (11). على الرغم من أن السقوط المحاكاة لا يمكن استنساخ جميع أنواع السقوط في الحياة الحقيقية ، فمن المهم على الأقل لتشمل أنواع تمثيلية من السقوط مما يتيح إنشاء نماذج أفضل للكشف عن السقوط. ومن المهم أيضاً استخدام ADLs، وعلى وجه الخصوص، الأنشطة التي يمكن أن تكون عادة خاطئة مع السقوط مثل التقاط كائن. تم اختيار أنواع الخريف وADLs بعد مراجعة أنظمة الكشف عن السقوط ذات الصلة21. على سبيل المثال، يعرض الشكل 2 سلسلة من الصور لنسخة تجريبية واحدة عندما يسقط موضوع ما جنبًا إلى جنب. استخرجنا 12 الزمني (المتوسط، الانحراف المعياري، الحد الأقصى من السعة، الحد الأدنى من السعة، مربع متوسط الجذر، المتوسط، رقم صفر عبور، الانحراف، kurtosis، الربع الأول، الربع الثالث والارتباط التلقائي) و 6 متكررة (متوسط، متوسط، إنتروبيا، الطاقة، التردد الرئيسي وcentroid الطيفية) ميزات21 من كل قناة من أجهزة الاستشعار المحيطة التي يمكن ارتداؤها تتألف من 756 الميزات في المجموع. كما قمنا بحساب 400 ميزة مرئية21 لكل كاميرا حول الحركة النسبية للبكسل بين صورتين متجاورتين في مقاطع الفيديو. تحليل البيانات بين النهج الأحادية الواسطة والنهج المتعددة الوسائطمن قاعدة بيانات UP-Fall Detection ، قمنا بتحليل البيانات لأغراض المقارنة بين النهج الأحادية الوسائط والمتعددة الوسائط. وبهذا المعنى، قارنا سبع مجموعات مختلفة من مصادر المعلومات: أجهزة استشعار الأشعة تحت الحمراء فقط (IR)؛ وأجهزة الاستشعار بالأشعة تحت الحمراء فقط (IR)؛ وأجهزة الاستشعار بالأشعة تحت الحمراء (IR)؛ وأجهزة الاستشعار بالأشعة تحت الحمراء (IR)؛ وأجهزة الاستشعار بالأشعة تحت الحمراء (الأشعة تحت الحمراء). أجهزة الاستشعار التي يمكن ارتداؤها فقط (IMU)؛ أجهزة استشعار وخوذة يمكن ارتداؤها (IMU + EEG)؛ الأشعة تحت الحمراء وأجهزة الاستشعار التي يمكن ارتداؤها وخوذة (IR + IMU + EEG)؛ الكاميرات فقط (CAM)؛ أجهزة استشعار الأشعة تحت الحمراء والكاميرات (IR +CAM)؛ وأجهزة الاستشعار التي يمكن ارتداؤها والخوذة والكاميرات (IMU + EEG + CAM). بالإضافة إلى ذلك ، قارنا ثلاثة أحجام زمنية مختلفة مع تداخل 50٪ : ثانية واحدة ، وثانيتين وثلاث ثوان. في كل شريحة، اخترنا الميزات الأكثر فائدة تطبيق اختيار ميزة والترتيب. باستخدام هذه الاستراتيجية، قمنا باستخدام 10 ميزات فقط لكل طريقة، باستثناء طريقة الأشعة تحت الحمراء باستخدام 40 ميزة. وعلاوة على ذلك، أجريت المقارنة على أربعة مصنفين معروفين للتعلم الآلي: RF، SVM، MLP و KNN. لقد وظفنا 10 أضعاف التحقق المتبادل ، مع مجموعات بيانات من 70 ٪ من القطار واختبار 30 ٪ ، لتدريب نماذج التعلم الآلي. ويبين الجدول 1 نتائج هذا المعيار، حيث يبلغ عن أفضل أداء تم الحصول عليه لكل طريقة حسب نموذج التعلم الآلي وأفضل تكوين لطول النافذة. مقاييس التقييم تقرير الدقة والدقة والحساسية والتحديد وF1-score. ويبين الشكل 3 هذه النتائج في تمثيل رسومي، من حيث درجة F1. من الجدول 1، والنهج متعددة الوسائط (الأشعة تحت الحمراء وأجهزة الاستشعار التي يمكن ارتداؤها وخوذة ، IR + IMU + EEG ؛ وأجهزة الاستشعار التي يمكن ارتداؤها وخوذة والكاميرات ، IMU + EEG + CAM) حصلت على أفضل قيم درجة F1 ، بالمقارنة مع النهج أحادية الواسطة (الأشعة تحت الحمراء فقط ، الأشعة تحت الحمراء ؛ والكاميرات فقط ، CAM). كما لاحظنا أن أجهزة الاستشعار القابلة للارتداء فقط (IMU) حصلت على أداء مماثل للنهج المتعدد الوسائط. وفي هذه الحالة، اخترنا اتباع نهج متعدد الوسائط لأن مصادر المعلومات المختلفة يمكن أن تعالج القيود المفروضة على الآخرين. على سبيل المثال، يمكن التعامل مع التطفل في الكاميرات بواسطة أجهزة استشعار يمكن ارتداؤها، ويمكن استكمال عدم استخدام جميع أجهزة الاستشعار القابلة للارتداء بالكاميرات أو أجهزة الاستشعار المحيطة. وفيما يتعلق بالمعيار المرجعي للنماذج القائمة على البيانات، أظهرت التجارب الواردة في الجدول 1 أن الترددات الراديوية تقدم أفضل النتائج في جميع التجارب تقريباً؛ في حين أن MLP و SVM لم تكن متسقة جدا في الأداء (على سبيل المثال، يظهر الانحراف المعياري في هذه التقنيات تقلباً أكبر مما كان عليه في RF). حول أحجام النوافذ ، لم تمثل هذه أي تحسن كبير فيما بينها. ومن المهم ملاحظة أن هذه التجارب قد أجريت لتصنيف النشاط الخريفي والبشري. وضع الاستشعار وأفضل تركيبة متعددة الوسائطمن ناحية أخرى ، كنا نستهدف تحديد أفضل مزيج من الأجهزة متعددة الوسائط للكشف عن السقوط. لهذا التحليل، قمنا بتقييد مصادر المعلومات إلى أجهزة الاستشعار الخمسة القابلة للارتداء والكاميرتين. هذه الأجهزة هي الأكثر راحة لهذا النهج. بالإضافة إلى ذلك، نظرنا في فئتين: الخريف (أي نوع من السقوط) أو عدم السقوط (أي نشاط آخر). جميع نماذج التعلم الآلي ، وأحجام النوافذ لا تزال هي نفسها كما هو الحال في التحليل السابق. لكل مستشعر يمكن ارتداؤه ، قمنا ببناء نموذج مصنف مستقل لكل طول نافذة. قمنا بتدريب النموذج باستخدام 10 أضعاف التحقق من صحة متقاطعة مع 70٪ من التدريب واختبار مجموعات البيانات. يلخص الجدول 2 نتائج ترتيب أجهزة الاستشعار القابلة للارتداء لكل مصنف أداء، استنادًا إلى درجة F1. تم فرز هذه النتائج بترتيب تنازلي. كما رأينا في الجدول 2، يتم الحصول على أفضل أداء عند استخدام جهاز استشعار واحد في الخصر أو الرقبة أو الجيب الأيمن الضيق (منطقة مظللة). وبالإضافة إلى ذلك، كان أداء أجهزة الاستشعار القابلة للارتداء في الكاحل والمعصم الأيسر هو الأسوأ. ويبين الجدول 3 تفضيل طول النافذة لكل جهاز استشعار يمكن ارتداؤها من أجل الحصول على أفضل أداء في كل مصنف. من النتائج، الخصر والرقبة وأجهزة استشعار الجيب الأيمن ضيق مع مصنف RF وحجم نافذة 3 ق مع 50٪ متداخلة هي أجهزة الاستشعار الأكثر ملاءمة يمكن ارتداؤها للكشف عن السقوط. أجرينا تحليلًا مشابهًا لكل كاميرا في النظام. بنينا نموذج مصنف مستقل لكل حجم النافذة. للتدريب، قمنا بالتحقق من صحة متقاطعة 10 أضعاف مع 70٪ من التدريب واختبار مجموعات البيانات بنسبة 30٪. ويبين الجدول 4 ترتيب أفضل وجهة نظر الكاميرا لكل مصنف، استناداً إلى درجة F1. كما لوحظ ، فإن العرض الجانبي (الكاميرا 1) أدى أفضل اكتشاف الخريف. وبالإضافة إلى ذلك، تفوق أداء الترددات اللاسلكية بالمقارنة مع المصنفين الآخرين. أيضا ، الجدول 5 يظهر تفضيل طول النافذة لكل وجهة نظر الكاميرا. من النتائج ، وجدنا أن أفضل موقع للكاميرا هو في وجهة النظر الجانبية باستخدام RF في حجم نافذة 3 s و 50٪ متداخلة. وأخيرا، اخترنا موضعين ممكنين من أجهزة الاستشعار التي يمكن ارتداؤها (أي الخصر والجيب الأيمن الضيق) ليتم دمجها مع كاميرا وجهة النظر الجانبية. بعد نفس الإجراء التدريبي، حصلنا على النتائج من الجدول 6. كما هو مبين ، حصل مصنف نموذج RF على أفضل أداء في الدقة ودرجة F1 في كل من الوسائط المتعددة. أيضا، الجمع بين الخصر والكاميرا 1 في المرتبة الأولى الحصول على 98.72٪ في الدقة و 95.77٪ في درجة F1. الشكل 1: تخطيط أجهزة الاستشعار القابلة للارتداء (يسار) وأجهزة الاستشعار المحيطة (اليمنى) في قاعدة بيانات الكشف عن UP-Fall. يتم وضع أجهزة الاستشعار التي يمكن ارتداؤها في الجبهة، والمعصم الأيسر، والرقبة، والخصر، والجيب الأيمن من السراويل والكاحل الأيسر. أجهزة الاستشعار المحيطة هي ستة أجهزة استشعار الأشعة تحت الحمراء المقترنة للكشف عن وجود المواضيع واثنين من الكاميرات. وتقع الكاميرات في العرض الجانبي وفي العرض الأمامي، سواء فيما يتعلق بسقوط الإنسان. يرجى الضغط هنا لعرض نسخة أكبر من هذا الرقم. الشكل 2: مثال على تسجيل فيديو مستخرج من قاعدة بيانات الكشف عن UP-Fall. في الأعلى ، هناك سلسلة من الصور لموضوع يسقط جنبًا إلى جنب. في الجزء السفلي ، هناك سلسلة من الصور التي تمثل ميزات الرؤية المستخرجة. هذه الميزات هي الحركة النسبية للبيكسلات بين صورتين متجاورتين. تمثل وحدات البكسل البيضاء حركة أسرع، بينما تمثل البيكسلات السوداء حركة أبطأ (أو قريبة من الصفر). يتم فرز هذا التسلسل من اليسار إلى اليمين، زمنياً. يرجى الضغط هنا لعرض نسخة أكبر من هذا الرقم. الشكل 3: النتائج المقارنة التي تبلغ عن أفضل درجة F1 لكل طريقة فيما يتعلق بنموذج التعلم الآلي وأفضل طول النافذة. تمثل الأشرطة القيم الوسطى لـ F1-score. يمثل النص في نقاط البيانات الانحراف المتوسط والمعياري بين قوسين. يرجى الضغط هنا لعرض نسخة أكبر من هذا الرقم. طريقه نموذج الدقة (في المائة) الدقة (في المائة) الحساسية (٪ ) التحديد (في المائة) درجة F1 (٪ ) الاشعه تحت الحمراء RF (3 ثوان) 67.38 ± 0.65 36.45 ± 2.46 31.26 ± 0.89 96.63 ± 0.07 32.16 ± 0.99 SVM (3 ثوان) 65.16 ± 0.90 26.77 ± 0.58 25.16 ± 0.29 96.31 ± 0.09 23.89 ± 0.41 MLP (3 ثوان) 65.69 ± 0.89 28.19 ± 3.56 26.40 ± 0.71 96.41 ± 0.08 25.13 ± 1.09 kNN (3 ثوان) 61.79 ± 1.47 30.04 ± 1.44 27.55 ± 0.97 96.05 ± 0.16 27.89 ± 1.13 IMU RF (1 ثانية) 95.76 ± 0.18 70.78 ± 1.53 66.91 ± 1.28 99.59 ± 0.02 68.35 ± 1.25 SVM (1 ثانية) 93.32 ± 0.23 66.16 ± 3.33 58.82 ± 1.53 99.32 ± 0.02 60.00 ± 1.34 MLP (1 ثانية) 95.48 ± 0.25 73.04 ± 1.89 69.39 ± 1.47 99.56 ± 0.02 70.31 ± 1.48 kNN (1 ثانية) 94.90 ± 0.18 69.05 ± 1.63 64.28 ± 1.57 99.50 ± 0.02 66.03 ± 1.52 IMU + EEG RF (1 ثانية) 95.92 ± 0.29 74.14 ± 1.29 66.29 ± 1.66 99.59 ± 0.03 69.03 ± 1.48 SVM (1 ثانية) 90.77 ± 0.36 62.51 ± 3.34 52.46 ± 1.19 99.03 ± 0.03 53.91 ± 1.16 MLP (1 ثانية) 93.33 ± 0.55 74.10 ± 1.61 65.32 ± 1.15 99.32 ± 0.05 68.13 ± 1.16 kNN (1 ثانية) 92.12 ± 0.31 66.86 ± 1.32 58.30 ± 1.20 98.89 ± 0.05 60.56 ± 1.02 IR+IMU+EEG RF (2 ثانية) 95.12 ± 0.36 74.63 ± 1.65 66.71 ± 1.98 99.51 ± 0.03 69.38 ± 1.72 SVM (1 ثانية) 90.59 ± 0.27 64.75 ± 3.89 52.63 ± 1.42 99.01 ± 0.02 53.94 ± 1.47 MLP (1 ثانية) 93.26 ± 0.69 73.51 ± 1.59 66.05 ± 1.11 99.31 ± 0.07 68.19 ± 1.02 kNN (1 ثانية) 92.24 ± 0.25 67.33 ± 1.94 58.11 ± 1.61 99.21 ± 0.02 60.36 ± 1.71 كام RF (3 ثوان) 32.33 ± 0.90 14.45 ± 1.07 14.48 ± 0.82 92.91 ± 0.09 14.38 ± 0.89 SVM (2 ثانية) 34.40 ± 0.67 13.81 ± 0.22 14.30 ± 0.31 92.97 ± 0.06 13.83 ± 0.27 MLP (3 ثوان) 27.08 ± 2.03 8.59 ± 1.69 10.59 ± 0.38 92.21 ± 0.09 7.31 ± 0.82 kNN (3 ثوان) 34.03 ± 1.11 15.32 ± 0.73 15.54 ± 0.57 93.09 ± 0.11 15.19 ± 0.52 IR +CAM RF (3 ثوان) 65.00 ± 0.65 33.93 ± 2.81 29.02 ± 0.89 96.34 ± 0.07 29.81 ± 1.16 SVM (3 ثوان) 64.07 ± 0.79 24.10 ± 0.98 24.18 ± 0.17 96.17 ± 0.07 22.38 ± 0.23 MLP (3 ثوان) 65.05 ± 0.66 28.25 ± 3.20 25.40 ± 0.51 96.29 ± 0.06 24.39 ± 0.88 kNN (3 ثوان) 60.75 ± 1.29 29.91 ± 3.95 26.25 ± 0.90 95.95 ± 0.11 26.54 ± 1.42 IMU + EEG + CAM RF (1 ثانية) 95.09 ± 0.23 75.52 ± 2.31 66.23 ± 1.11 99.50 ± 0.02 69.36 ± 1.35 SVM (1 ثانية) 91.16 ± 0.25 66.79 ± 2.79 53.82 ± 0.70 99.07 ± 0.02 55.82 ± 0.77 MLP (1 ثانية) 94.32 ± 0.31 76.78 ± 1.59 67.29 ± 1.41 99.42 ± 0.03 70.44 ± 1.25 kNN (1 ثانية) 92.06 ± 0.24 68.82 ± 1.61 58.49 ± 1.14 99.19 ± 0.02 60.51 ± 0.85 الجدول 1: النتائج المقارنة التي تبلغ عن أفضل أداء لكل طريقة فيما يتعلق بنموذج التعلم الآلي وأفضل طول النافذة (بين قوسين). تمثل كافة القيم في الأداء المتوسط والانحراف المعياري. # نوع IMU الترددات اللاسلكيه Svm MLP KNN 1 (98.36) الخصر (83.30) الجيب الأيمن (57.67) الجيب الأيمن (73.19) الجيب الأيمن 2 (95.77) الرقبة (83.22) الخصر (44.93) الرقبة (68.73) الخصر 3 (95.35) الجيب الأيمن (83.11) رقبة (39.54) الخصر (65.06) الرقبة 4 (95.06) الكاحل (82.96) الكاحل (39.06) المعصم الأيسر (58.26) الكاحل 5 (94.66) المعصم الأيسر (82.82) المعصم الأيسر (37.56) الكاحل (51.63) المعصم الأيسر الجدول 2: ترتيب أفضل جهاز استشعار يمكن ارتداؤه لكل مصنف، مصنف حسب درجة F1 (بين قوسين). تمثل المناطق في الظل المصنفين الثلاثة الأوائل للكشف عن السقوط. نوع IMU طول النافذة الترددات اللاسلكيه Svm MLP KNN الكاحل الأيسر 2 ثانية 3 ثوان 1 ثانية 3 ثوان الخصر 3 ثوان 1 ثانية 1 ثانية 2 ثانية الرقبه 3 ثوان 3 ثوان 2 ثانية 2 ثانية الجيب الأيمن 3 ثوان 3 ثوان 2 ثانية 2 ثانية المعصم الأيسر 2 ثانية 2 ثانية 2 ثانية 2 ثانية الجدول 3: طول النافذة الزمنية المفضل في أجهزة الاستشعار القابلة للارتداء لكل مصنف. # عرض الكاميرا الترددات اللاسلكيه Svm MLP KNN 1 (62.27) عرض جانبي (24.25) عرض جانبي (13.78) عرض أمامي (41.52) عرض جانبي 2 (55.71) عرض أمامي (0.20) عرض أمامي (5.51) عرض جانبي (28.13) عرض أمامي الجدول 4: ترتيب أفضل وجهة نظر الكاميرا لكل مصنف، مرتبة حسب درجة F1 (بين قوسين). تمثل المناطق في الظل المصنف العلوي للكشف عن السقوط. الكاميرا طول النافذة الترددات اللاسلكيه Svm MLP KNN عرض جانبي 3 ثوان 3 ثوان 2 ثانية 3 ثوان عرض أمامي 2 ثانية 2 ثانية 3 ثوان 2 ثانية الجدول 5: طول النافذة الزمنية المفضل في وجهات نظر الكاميرا لكل مصنف. المتعدد الوسائط المصنف الدقة (في المائة) الدقة (في المائة) الحساسية (٪ ) درجة F1 (٪ ) الخصر+عرض جانبي الترددات اللاسلكيه 98.72 ± 0.35 94.01 ± 1.51 97.63 ± 1.56 95.77 ± 1.15 Svm 95.59 ± 0.40 100 70.26 ± 2.71 82.51 ± 1.85 MLP 77.67 ± 11.04 33.73 ± 11.69 37.11 ± 26.74 29.81 ± 12.81 KNN 91.71 ± 0.61 77.90 ± 3.33 61.64 ± 3.68 68.73 ± 2.58 الجيب الأيمن+عرض جانبي الترددات اللاسلكيه 98.41 ± 0.49 93.64 ± 1.46 95.79 ± 2.65 94.69 ± 1.67 Svm 95.79 ± 0.58 100 71.58 ± 3.91 83.38 ± 2.64 MLP 84.92 ± 2.98 55.70 ± 11.36 48.29 ± 25.11 45.21 ± 14.19 KNN 91.71 ± 0.58 73.63 ± 3.19 68.95 ± 2.73 71.13 ± 1.69 الجدول 6: النتائج المقارنة لوجهة نظر أجهزة الاستشعار والكاميرا القابلة للارتداء مجتمعة باستخدام طول النافذة لمدة 3 ثوان. تمثل كافة القيم الانحراف المتوسط والمعياري.