הערכה של מערכת פעילות אנושית המבוססת על טלפון חכם הכרה בימי סביבת חיים
Summary
A standardized evaluation method was developed for Wearable Mobility Monitoring Systems (WMMS) that includes continuous activities in a realistic daily living environment. Testing with a series of daily living activities can decrease activity recognition sensitivity; therefore, realistic testing circuits are encouraged for valid evaluation of WMMS performance.
Abstract
An evaluation method that includes continuous activities in a daily-living environment was developed for Wearable Mobility Monitoring Systems (WMMS) that attempt to recognize user activities. Participants performed a pre-determined set of daily living actions within a continuous test circuit that included mobility activities (walking, standing, sitting, lying, ascending/descending stairs), daily living tasks (combing hair, brushing teeth, preparing food, eating, washing dishes), and subtle environment changes (opening doors, using an elevator, walking on inclines, traversing staircase landings, walking outdoors).
To evaluate WMMS performance on this circuit, fifteen able-bodied participants completed the tasks while wearing a smartphone at their right front pelvis. The WMMS application used smartphone accelerometer and gyroscope signals to classify activity states. A gold standard comparison data set was created by video-recording each trial and manually logging activity onset times. Gold standard and WMMS data were analyzed offline. Three classification sets were calculated for each circuit: (i) mobility or immobility, ii) sit, stand, lie, or walking, and (iii) sit, stand, lie, walking, climbing stairs, or small standing movement. Sensitivities, specificities, and F-Scores for activity categorization and changes-of-state were calculated.
The mobile versus immobile classification set had a sensitivity of 86.30% ± 7.2% and specificity of 98.96% ± 0.6%, while the second prediction set had a sensitivity of 88.35% ± 7.80% and specificity of 98.51% ± 0.62%. For the third classification set, sensitivity was 84.92% ± 6.38% and specificity was 98.17 ± 0.62. F1 scores for the first, second and third classification sets were 86.17 ± 6.3, 80.19 ± 6.36, and 78.42 ± 5.96, respectively. This demonstrates that WMMS performance depends on the evaluation protocol in addition to the algorithms. The demonstrated protocol can be used and tailored for evaluating human activity recognition systems in rehabilitation medicine where mobility monitoring may be beneficial in clinical decision-making.
Introduction
חישה בכל מקום הפכה אזור מחקר מרתק בשל,, מחשוב חזק יותר ויותר קטן בעלות נמוכה וחישת ציוד 1. ניטור ניידות באמצעות חיישנים לביש יצר עניין רב מאז המיקרואלקטרוניקה ברמת הצרכן היא מסוגל לאתר מאפייני תנועה ברמת דיוק גבוה 1. הכרה אנושית פעילות (הר) באמצעות חיישנים לביש היא האזור האחרון של מחקר, עם מחקרים ראשוניים שבוצעו בשנת 1980 ו 1990 2 – 4.
טלפונים חכמים מודרניים מכילים חיישנים הדרושים ויכולת חישוב בזמן אמת להכרה פעילות ניידות. ניתוח בזמן אמת במכשיר מאפשר סיווג פעילות והעלאת נתונים ללא שימוש או התערבות חוקר. טלפון חכם עם תוכנת ניתוח ניידות יכול לספק מעקב כושר, ניטור בריאות, נופל זיהוי, בבית או בעבודת אוטומציה, וexercis ניהול עצמיתוכניות דואר 5. יכולים להיחשב טלפונים חכמים פלטפורמות מדידת אינרציה לאיתור פעילויות ניידים ודפוסים ניידים בבני אדם, תוך שימוש בתכונות אות מתמטיות שנוצרו מחושבות עם יציאות חיישן משולבת 6. שיטות נפוצה דור תכונה כוללות היוריסטי, תחום בזמן, תדירות-תחום, וידווה גישות מבוססות ניתוח 7.
מערכות HAR הטלפון החכם מודרניות הראו דיוקי חיזוי גבוהים כאשר איתור פעילויות שצוינו 1,5,6,7. מחקרים אלה משתנים במתודולוגיה הערכה, כמו גם דיוק שכן רוב המחקרים הסט שלהם הכשרה, התקנה סביבתית, ופרוטוקול איסוף נתונים. רגישות, סגוליות, דיוק, כזכור, דיוק, ו- F-ציון משמשים בדרך כלל כדי לתאר את איכות חיזוי. עם זאת, לא מעט מידע נגיש בשיטות להכרה "פעילות מקבילה" והערכה של היכולת לזהות שינויים בפעילות בזמן אמת1, למערכות HAR המנסים לסווג את מספר פעילויות. שיטות הערכה לדיוק מערכת HAR להשתנות באופן משמעותי בין מחקרים. ללא קשר לאלגוריתם המיון או תכונות שימושיות, התיאורים של שיטות הערכה סטנדרטי זהב מעורפלים עבור רוב מחקר HAR.
הכרת פעילות בסביבה היומיומית לא נחקרה בהרחבה. רוב מערכות הכרת פעילות מבוססת הטלפון החכם מוערכות באופן מבוקר, שהוביל לפרוטוקול הערכה שעשויה להיות יתרון לאלגוריתם ולא מציאותי לסביבה בעולם אמיתי. בתוך תכנית הערכתם, משתתפים לעתים קרובות לבצע רק פעולות שנועדו לחיזוי, ולא יישום מגוון גדול של פעילויות מציאותיות למשתתף לבצע ברצף, מחקה אירועי חיים אמיתיים.
HAR הטלפון החכם כמה מחקרי פעילויות 8,9 קבוצה דומות ביחד, כגון מדרגות והליכה, אבל לא לכלול פעילויות אחרות מקבוצת הנתונים. דיוק חיזוי נקבע אז על ידי כמה טוב האלגוריתם זיהה את פעילות היעד. Dernbach et al. 9 משתתפים היו לכתוב את הפעילות שהם עומדים לבצע לפני שעברו, קוטע את מעברי שינוי-של-מדינה רציפות. הערכות מערכת HAR צריכים להעריך את האלגוריתם בעוד המשתתף מבצע פעולות טבעיות בסביבת חיים יומיומית. זה יאפשר הערכת חיים אמיתיים שמשכפלת שימוש יומיומי של היישום. מעגל מציאותי כולל שינויים רבים למדינה, כמו גם שילוב של פעולות לא חיזוי על ידי המערכת. חוקר אז יכול להעריך את התגובה של האלגוריתם לתנועות נוספות אלה, ובכך להעריך את החוסן של האלגוריתם לתנועות חריגות.
מאמר זה מציג פרוטוקול הערכת מערכת ניטור ניידות לביש (WMMS) שמשתמש כמובן בשליטה המשקפת סביבות יומיומיות בחיים אמיתיים. WMMSהערכה אז יכולה להיות שנעשתה בתנאים מבוקרים, אבל מציאותיים. בפרוטוקול זה, אנו משתמשים WMMS דור שלישי שפותח באוניברסיטת אוטווה אוטווה ובית החולים מכון מחקר 11-15. WMMS תוכנן עבור טלפונים חכמים עם תאוצה תלת-הצירי וג'ירוסקופ. אלגוריתם הניידות מהווה השתנות משתמש, מספק ירידה במספר של תוצאות חיוביות שגויות לזיהוי שינויים-של-מדינה, ומגביר את הרגישות בסיווג פעילות. מזעור תוצאות חיוביות שגויות הוא חשוב מאז WMMS מפעיל הקלטת וידאו קליפ קצרה כאשר שינויי פעילות של המדינה מזוהות, להערכת פעילות תלויה-קשר שמשפר את סיווג WMMS נוסף. הקלטת וידאו מיותרת יוצרת חוסר יעילות באחסון ושימוש בסוללה. אלגוריתם WMMS בנוי כמודל למידה חישובית נמוך והוערכו באמצעות רמות שונות חיזוי, שבו עלייה ברמת חיזוי מסמנת עלייה בכמותפעולות של זיהוי.
Protocol
Representative Results
Discussion
הכרת פעילות אנושית עם מערכת ניטור ניידות לביש קיבלה יותר תשומת לב בשנים האחרונות בשל ההתקדמות הטכנית בתחום מחשוב לביש וטלפונים חכמים והצרכים שיטתיים למדדי תוצאה כמותית, המסייעים בקבלת החלטות קלינית והערכת התערבות בריאות. המתודולוגיה שתוארה במאמר זה הייתה יעילה לה?…
Divulgaciones
The authors have nothing to disclose.
Acknowledgements
המחברים מודים אוון Beisheim, ניקול Capela, אנדרו הרברט-קופלי לקבלת סיוע טכני ואיסוף נתונים. מימון פרויקט התקבל ממדעי הטבע והנדסת מועצת מחקר של קנדה (NSERC) וBlackBerry בע"מ, הכוללים טלפונים חכמים בשימוש במחקר.
Materials
| Smartphone or wearable measurement device | Blackberry | Z10 | |
| Smartphone for video recording | Blackberry | Z10 or 9800 | |
| Phone holster | Any | ||
| Data logger application for the smartphone | BlackBerry World – TOHRC Data Logger for BlackBerry 10 | http://appworld.blackberry.com/webstore/content/32013891/?countrycode=CA | |
| Wearable mobility measurement | Custom Blackberry 10 and Matlab software for mobility monitoring | http://www.irrd.ca/cag/smartphone/ | |
| Video editing or analysis software | Motion Analysis Tools | http://www.irrd.ca/cag/mat/ |
Referencias
- Lara, O. D., Labrador, M. A. A Survey on Human Activity Recognition using Wearable Sensors. IEEE Communications Surveys Tutorials. 15 (3), 1192-1209 (2013).
- Foerster, F., Smeja, M., Fahrenberg, J. Detection of posture and motion by accelerometry: a validation study in ambulatory monitoring. Computers in Human Behavior. 15 (5), 571-583 (1999).
- Elsmore, T. F., Naitoh, P. . Monitoring Activity With a Wrist-Worn Actigraph: Effects of Amplifier Passband and threshold Variations. , (1993).
- Kripke, D. F., Webster, J. B., Mullaney, D. J., Messin, S., Mason, W. . Measuring sleep by wrist actigraph. , (1981).
- Lockhart, J. W., Pulickal, T., Weiss, G. M. Applications of mobile activity recognition. Proceedings of the 2012 ACM Conference on Ubiquitous Computing. , 1054-1058 (2012).
- Incel, O. D., Kose, M., Ersoy, C. A Review and Taxonomy of Activity Recognition on Mobile Phones. BioNanoScience. 3 (2), 145-171 (2013).
- Yang, C. C., Hsu, Y. L. A Review of Accelerometry-Based Wearable Motion Detectors for Physical Activity Monitoring. Sensors. 10 (8), 7772-7788 (2010).
- He, Y., Li, Y. Physical Activity Recognition Utilizing the Built-In Kinematic Sensors of a Smartphone. International Journal of Distributed Sensor Networks. 2013, (2013).
- Vo, Q. V., Hoang, M. T., Choi, D. Personalization in Mobile Activity Recognition System using K-medoids Clustering Algorithm. International Journal of Distributed Sensor Networks. 2013, (2013).
- Dernbach, S., Das, B., Krishnan, N. C., Thomas, B. L., Cook, D. J. Simple and Complex Activity Recognition through Smart Phones. , 214-221 (2012).
- Hache, G., Lemaire, E. D., Baddour, N. Mobility change-of-state detection using a smartphone-based approach. IEEE International Workshop on Medical Measurements and Applications Proceedings (MeMeA). , 43-46 (2010).
- Wu, H. H., Lemaire, E. D., Baddour, N. Change-of-state determination to recognize mobility activities using a BlackBerry smartphone. , 5252-5255 (2011).
- Wu, H., Lemaire, E. D., Baddour, N. Activity Change-of-state Identification Using a Blackberry Smartphone. Journal of Medical and Biological Engineering. 32 (4), 265-271 (2012).
- Tundo, M. D., Lemaire, E., Baddour, N. Correcting Smartphone orientation for accelerometer-based analysis. IEEE International Symposium on Medical Measurements and Applications Proceedings (MeMeA). , 58-62 (2013).
- Tundo, M. D. . Development of a human activity recognition system using inertial measurement unit sensors on a smartphone. , (2014).
