A standardized evaluation method was developed for Wearable Mobility Monitoring Systems (WMMS) that includes continuous activities in a realistic daily living environment. Testing with a series of daily living activities can decrease activity recognition sensitivity; therefore, realistic testing circuits are encouraged for valid evaluation of WMMS performance.
An evaluation method that includes continuous activities in a daily-living environment was developed for Wearable Mobility Monitoring Systems (WMMS) that attempt to recognize user activities. Participants performed a pre-determined set of daily living actions within a continuous test circuit that included mobility activities (walking, standing, sitting, lying, ascending/descending stairs), daily living tasks (combing hair, brushing teeth, preparing food, eating, washing dishes), and subtle environment changes (opening doors, using an elevator, walking on inclines, traversing staircase landings, walking outdoors).
To evaluate WMMS performance on this circuit, fifteen able-bodied participants completed the tasks while wearing a smartphone at their right front pelvis. The WMMS application used smartphone accelerometer and gyroscope signals to classify activity states. A gold standard comparison data set was created by video-recording each trial and manually logging activity onset times. Gold standard and WMMS data were analyzed offline. Three classification sets were calculated for each circuit: (i) mobility or immobility, ii) sit, stand, lie, or walking, and (iii) sit, stand, lie, walking, climbing stairs, or small standing movement. Sensitivities, specificities, and F-Scores for activity categorization and changes-of-state were calculated.
The mobile versus immobile classification set had a sensitivity of 86.30% ± 7.2% and specificity of 98.96% ± 0.6%, while the second prediction set had a sensitivity of 88.35% ± 7.80% and specificity of 98.51% ± 0.62%. For the third classification set, sensitivity was 84.92% ± 6.38% and specificity was 98.17 ± 0.62. F1 scores for the first, second and third classification sets were 86.17 ± 6.3, 80.19 ± 6.36, and 78.42 ± 5.96, respectively. This demonstrates that WMMS performance depends on the evaluation protocol in addition to the algorithms. The demonstrated protocol can be used and tailored for evaluating human activity recognition systems in rehabilitation medicine where mobility monitoring may be beneficial in clinical decision-making.
Ubiquitous Erkundung hat sich zu einem Eingriffsforschungsbereich aufgrund von immer leistungsfähigeren, kleine, kostengünstige Computing und Erfassungsgeräte 1. Mobility Überwachung mit tragbaren Sensoren hat ein großes Interesse erzeugt, da Verbraucher-Level-Mikroelektronik sind zum Aufspüren von Bewegungseigenschaften mit hoher Genauigkeit 1. Menschliche Aktivitäten Erkennung (HAR) unter Verwendung von tragbaren Sensoren ist ein neues Forschungsgebiet, die Vorstudien in den 1980er und 1990er Jahren durchgeführt 2-4.
Moderne Smartphones enthalten die notwendigen Sensoren und Echtzeitberechnung Fähigkeit zur Mobilität Aktivitätserkennung. Echtzeit-Analyse auf dem Gerät erlaubt Aktivität Klassifikation und Daten-Upload ohne Benutzereingriff oder Prüfer. Ein Smartphone mit Mobilitätsanalysesoftware konnte Fitness Tracking, Gesundheitsberichterstattung liefern, fallen Erkennung, zu Hause oder der Arbeit Automatisierung und selbstverwaltende exercise Programme 5. Smartphones kann als Trägheitsmessplattformen zur Detektion mobilen Aktivitäten und mobile Muster bei Menschen mit generierten mathematischen Signalmerkmale mit integrierten Sensorausgänge 6 berechnet. Erzeugungsverfahren gemeinsames Merkmal umfassen Heuristik Zeitbereich, Frequenzdomäne und Wavelet-Analyse basierende Ansätze 7.
Modernes Smartphone HAR Systeme wurden bei der Erkennung bestimmter Aktivitäten 1,5,6,7 hohe Vorhersagegenauigkeit angezeigt. Diese Studien unterscheiden sich in Bewertungsmethodik sowie die Genauigkeit, da die meisten Studien haben ihre eigenen Trainingsgruppe, Umwelt Konfiguration und Datenerfassung Protokoll. Sensitivität, Spezifität, Genauigkeit, Rückruf, Präzision und F-Score werden häufig verwendet, um Vorhersagequalität zu beschreiben. , Wenig bis gar keine Informationen ist jedoch auf Verfahren für "paralleles Arbeiten" Anerkennung und Bewertung der Fähigkeit, Aktivitätsänderungen in Echtzeit zu erfassen1, für die HAR-Systeme, die verschiedene Aktivitäten zu kategorisieren versuchen. Bewertungsmethoden für die Systemgenauigkeit HAR variieren erheblich zwischen den Studien. Unabhängig von der Klassifikationsalgorithmus oder angewandte Funktionen, sind Beschreibungen der Goldstandard Bewertungsmethoden vage für die meisten HAR Forschung.
Aktivitätserkennung in einer täglichen Lebensumfeld wurde nicht umfassend erforscht. Esten Smartphone basierten Aktivitätserkennungssysteme werden in einer kontrollierten Art und Weise bewertet, was zu einer Bewertung Protokoll, das dem Algorithmus nicht realistisch, eine reale Umgebung vorteilhaft sein. Im Rahmen ihrer Bewertungsschema, Teilnehmer führen oft nur die Aktionen zur Vorhersage bestimmt, anstatt die Anwendung eine große Auswahl an realistischen Aktivitäten für die Teilnehmer nacheinander durchführen, imitiert wirklichen Leben Veranstaltungen.
Einige Smartphone HAR studiert 8,9 Gruppe ähnliche Aktivitäten zusammen, wie Treppen und Wandern, Schließen jedoch andere Aktivitäten aus dem Datensatz. Vorhersagegenauigkeit wird dann, wie gut der Algorithmus identifiziert die Zielaktivitäten bestimmt. Dernbach et al. 9 hatten die Teilnehmer schreiben, die Tätigkeit, die sie dabei, bevor sie ausgeführt werden, zu unterbrechen kontinuierlichen Change-of-Zustandsübergänge waren. HAR-System Bewertungen sollten den Algorithmus zu bewerten, während die Teilnehmer führt natürlichen Aktionen in einem täglichen Lebenseinstellung. Dies würde eine reale Bewertung, die tägliche Nutzung der Anwendung repliziert ermöglichen. Eine realistische Schaltung enthält viele Änderungen-of-Staat als auch einen Mix von Maßnahmen durch das System nicht vorhersehbar. Ein Ermittler dann beurteilen Reaktion des Algorithmus auf diese zusätzlichen Bewegungen, wodurch die Bewertung Robustheit des Algorithmus, um anomale Bewegungen.
Dieser Beitrag stellt eine tragbare Mobility Monitoring System (WMMS) Bewertungsprotokoll, das eine gesteuerte Kurs, der realen täglichen Lebenswelten spiegelt verwendet. WMMSAuswertung kann dann unter kontrollierten, aber realistischen Bedingungen durchgeführt werden. In diesem Protokoll verwenden wir eine der dritten Generation WMMS, die an der Universität von Ottawa und Ottawa Hospital Research Institute 11-15 entwickelt wurde. Die WMMS wurde für Smartphones mit einem Tri-Achsen-Beschleunigungsmesser und Gyroskop gestaltet. Die Mobilität Algorithmus Konten für Benutzer Variabilität, stellt eine Verringerung der Anzahl von False Positives für Änderungen-of-state Identifikation, und erhöht die Empfindlichkeit der Aktivität Kategorisierung. Minimierung von False Positives ist wichtig, da die WMMS löst kurzen Videoclip-Aufnahme wenn Aktivität Zustandsänderungen erkannt werden, für die kontextbezogene Aktivität Evaluierung, die WMMS Klassifizierung weiter verbessert. Unnötige Videoaufzeichnung erzeugt Ineffizienzen bei der Lagerung und Verwendung von Akkus. Die WMMS Algorithmus wird als Low-Rechenlernmodell strukturiert und ausgewertet mit verschiedenen Vorhersagewerken, in denen eine Erhöhung der Vorhersageniveau bedeutet eine Zunahme in der Mengevon erkennbaren Handlungen.
Menschliche Aktivitäten Erkennung mit einer tragbaren Mobilität Überwachungssystem hat mehr Aufmerksamkeit in den letzten Jahren aufgrund der technischen Fortschritte in der Wearable Computing und Smartphones und systematische Anforderungen für quantitative Zielparameter, die mit der klinischen Entscheidungsfindung und Gesundheit Intervention Evaluation helfen erhalten. Die in diesem Dokument beschriebenen Methode wirksam war für die Bewertung WMMS Entwicklung seit Aktivitätsklassifikation Fehler gefunden wurden, …
The authors have nothing to disclose.
Die Autoren danken Evan Beisheim, Nicole Capela, Andrew Herbert-Copley für technische und Datenerfassungshilfe. Projektförderung wurde aus den Natur- und Ingenieurwissenschaften Research Council of Canada (NSERC) und Blackberry Ltd., einschließlich Smartphones in der Studie erhalten.
Smartphone or wearable measurement device | Blackberry | Z10 | |
Smartphone for video recording | Blackberry | Z10 or 9800 | |
Phone holster | Any | ||
Data logger application for the smartphone | BlackBerry World – TOHRC Data Logger for BlackBerry 10 | http://appworld.blackberry.com/webstore/content/32013891/?countrycode=CA | |
Wearable mobility measurement | Custom Blackberry 10 and Matlab software for mobility monitoring | http://www.irrd.ca/cag/smartphone/ | |
Video editing or analysis software | Motion Analysis Tools | http://www.irrd.ca/cag/mat/ |