Summary

Évaluation d'un système de reconnaissance de l'activité humaine basée à Smartphone dans un milieu de vie quotidien

Published: December 11, 2015
doi:

Summary

A standardized evaluation method was developed for Wearable Mobility Monitoring Systems (WMMS) that includes continuous activities in a realistic daily living environment. Testing with a series of daily living activities can decrease activity recognition sensitivity; therefore, realistic testing circuits are encouraged for valid evaluation of WMMS performance.

Abstract

An evaluation method that includes continuous activities in a daily-living environment was developed for Wearable Mobility Monitoring Systems (WMMS) that attempt to recognize user activities. Participants performed a pre-determined set of daily living actions within a continuous test circuit that included mobility activities (walking, standing, sitting, lying, ascending/descending stairs), daily living tasks (combing hair, brushing teeth, preparing food, eating, washing dishes), and subtle environment changes (opening doors, using an elevator, walking on inclines, traversing staircase landings, walking outdoors).

To evaluate WMMS performance on this circuit, fifteen able-bodied participants completed the tasks while wearing a smartphone at their right front pelvis. The WMMS application used smartphone accelerometer and gyroscope signals to classify activity states. A gold standard comparison data set was created by video-recording each trial and manually logging activity onset times. Gold standard and WMMS data were analyzed offline. Three classification sets were calculated for each circuit: (i) mobility or immobility, ii) sit, stand, lie, or walking, and (iii) sit, stand, lie, walking, climbing stairs, or small standing movement. Sensitivities, specificities, and F-Scores for activity categorization and changes-of-state were calculated.

The mobile versus immobile classification set had a sensitivity of 86.30% ± 7.2% and specificity of 98.96% ± 0.6%, while the second prediction set had a sensitivity of 88.35% ± 7.80% and specificity of 98.51% ± 0.62%. For the third classification set, sensitivity was 84.92% ± 6.38% and specificity was 98.17 ± 0.62. F1 scores for the first, second and third classification sets were 86.17 ± 6.3, 80.19 ± 6.36, and 78.42 ± 5.96, respectively. This demonstrates that WMMS performance depends on the evaluation protocol in addition to the algorithms. The demonstrated protocol can be used and tailored for evaluating human activity recognition systems in rehabilitation medicine where mobility monitoring may be beneficial in clinical decision-making.

Introduction

Détection Ubiquitous est devenue un domaine de recherche engageante raison de plus en plus puissant, petit, faible coût de l'informatique et de l'équipement de détection 1. Suivi de la mobilité en utilisant les capteurs portables a suscité beaucoup d'intérêt depuis la microélectronique au niveau des consommateurs sont capables de détecter des caractéristiques de mouvement avec une grande précision 1. La reconnaissance de l'activité humaine (HAR) en utilisant les capteurs portables est une zone récente de la recherche, des études préliminaires effectuées dans les années 1980 et 1990 2 – 4.

Smartphones modernes contiennent les capteurs nécessaires et de la capacité de calcul en temps réel pour la reconnaissance de l'activité de mobilité. Analyse en temps réel sur le dispositif permet la classification de l'activité et le téléchargement de données sans intervention de l'utilisateur ou enquêteur. Un smartphone avec le logiciel d'analyse de la mobilité pourrait fournir un suivi de remise en forme, la surveillance de la santé, détection de chute, la maison ou l'automatisation de travail, et exercis autogestionnaireles programmes de E5. Smartphones peuvent être considérés comme des plates-formes de mesure inertielle pour détecter les activités mobiles et les modèles mobiles chez les humains, en utilisant les caractéristiques de signaux mathématiques générées calculées avec des sorties de capteurs embarqués 6. Méthodes de production de longs courants comprennent heuristique, dans le domaine temporel, domaine de fréquence, et les approches fondées sur l'analyse en ondelettes-7.

Systèmes de smartphones HAR modernes ont montré une précision élevées de prédiction lors de la détection des activités spécifiées 1,5,6,7. Ces études varient dans la méthodologie d'évaluation ainsi que la précision puisque la plupart des études ont leur propre ensemble de la formation, la configuration de l'environnement, et le protocole de collecte des données. Sensibilité, la spécificité, la précision, le rappel, la précision, et F-score sont couramment utilisés pour décrire la qualité de prédiction. Cependant, peu ou pas d'informations sont disponibles sur les méthodes pour "activité simultanée" la reconnaissance et l'évaluation de la capacité de détecter les changements d'activité en temps réel1, pour les systèmes HAR qui tentent de catégoriser plusieurs activités. Les méthodes d'évaluation pour la précision du système HAR varient considérablement entre les études. Indépendamment de l'algorithme de classification ou caractéristiques appliquées, des descriptions de méthodes d'évaluation standard d'or sont vagues pour la plupart des recherches HAR.

La reconnaissance de l'activité dans un environnement de la vie quotidienne n'a pas été largement étudié. La plupart des systèmes de reconnaissance activité basée smartphone sont évalués d'une manière contrôlée, conduisant à un protocole d'évaluation qui peuvent être avantageux de l'algorithme plutôt que réaliste à un environnement du monde réel. Au sein de leur système d'évaluation, les participants effectuent souvent que les actions destinées à la prévision, plutôt que l'application d'un large éventail d'activités réalistes pour le participant à effectuer consécutivement, imitant les événements de la vie réelle.

Certains smartphones HAR étudie 8,9 groupe des activités similaires ensemble, tels que les escaliers et la marche, Mais excluent les autres activités de l'ensemble de données. Précision de la prédiction est alors déterminé par la façon dont l'algorithme a identifié les activités cibles. Dernbach et al. 9 avaient participants écrivent l'activité qu'ils étaient sur ​​le point d'exécuter avant de passer, interrompre transitions continues de changement d'état. HAR système évaluations devraient évaluer l'algorithme alors que le participant effectue des actions naturelles dans un cadre de vie quotidien. Cela permettrait une évaluation de la vie réelle qui reproduit l'utilisation quotidienne de l'application. Un circuit réaliste comprend de nombreux changements d'état ainsi que d'un mélange des actions non prévisibles par le système. Un enquêteur peut alors évaluer la réponse de l'algorithme à ces mouvements supplémentaires, évaluant ainsi la robustesse de l'algorithme à des mouvements anormaux.

Cet article présente un système de surveillance de la mobilité Wearable (WMMS) protocole d'évaluation qui utilise un cours contrôlé qui tient compte des environnements de la vie quotidienne de la vie réelle. WMMSévaluation peut alors être faite dans des conditions contrôlées, mais réalistes. Dans ce protocole, nous utilisons une troisième génération WMMS qui a été développé à l'Université d'Ottawa et Ottawa Hospital Research Institute 11-15. Le WMMS a été conçu pour les smartphones avec un accéléromètre tri-axe et du gyroscope. Représente l'algorithme de la mobilité pour l'utilisateur de la variabilité, permet une réduction dans le nombre de faux positifs pour l'identification des changements d'état, et augmente la sensibilité de l'activité catégorisation. Minimiser les faux positifs est important car la WMMS déclenche court enregistrement de vidéo clip lorsque l'activité des changements d'état sont détectées, pour l'évaluation de l'activité contextuel qui améliore encore la classification WMMS. Enregistrement vidéo inutile crée des inefficacités dans le stockage et l'utilisation de la batterie. L'algorithme WMMS est structuré comme un modèle d'apprentissage à faible calcul et évaluée en utilisant différents niveaux de prédiction, où une augmentation du niveau de prédiction, signifie une augmentation de la quantitéactions de reconnaissable.

Protocol

Ce protocole a été approuvé par le Comité d'éthique de la recherche en santé d'Ottawa Science Network. 1. Préparation Fournir aux participants un aperçu de la recherche, répondre à vos questions, et obtenir le consentement éclairé. Les caractéristiques des participants d'enregistrement (par exemple, âge, sexe, taille, poids, tour de taille, la hauteur des pieds de l'épine iliaque antéro-supérieure de la malléole interne), code d'ident…

Representative Results

Le protocole de l'étude a été menée auprès d'un échantillon de commodité de quinze participants valides dont le poids moyen était de 68,9 (± 11,1) kg, hauteur était de 173,9 (± 11,4) cm, et l'âge était de 26 (± 9) ans, recrutés dans L'Hôpital d'Ottawa et de l'Université d'Ottawa du personnel et des étudiants. Un smartphone capturé les données des capteurs à un taux de 40-50 Hz variable. Les variations de taux d'échantillonnage sont typiques pour l'échantillonnag…

Discussion

La reconnaissance de l'activité humaine avec un système de surveillance de la mobilité portable a reçu plus d'attention au cours des dernières années en raison des progrès techniques dans l'informatique et les smartphones portable et systématique des besoins pour les mesures des résultats quantitatifs qui aident à la prise de décision clinique et l'évaluation des interventions en santé. La méthodologie décrite dans le présent document a été efficace pour évaluer le développement WMMS …

Divulgaciones

The authors have nothing to disclose.

Acknowledgements

Les auteurs reconnaissent Evan Beisheim, Nicole Capela, Andrew Herbert-Copley pour l'assistance technique et la collecte de données. Le financement du projet a été reçue du Conseil de recherches en génie du Canada (CRSNG) en sciences naturelles et BlackBerry Ltd, y compris les smartphones utilisés dans l'étude.

Materials

Smartphone or wearable measurement device Blackberry Z10
Smartphone for video recording Blackberry Z10 or 9800
Phone holster Any
Data logger application for the smartphone BlackBerry World – TOHRC Data Logger for BlackBerry 10 http://appworld.blackberry.com/webstore/content/32013891/?countrycode=CA
Wearable mobility measurement Custom Blackberry 10 and Matlab software for mobility monitoring http://www.irrd.ca/cag/smartphone/
Video editing or analysis software Motion Analysis Tools http://www.irrd.ca/cag/mat/

Referencias

  1. Lara, O. D., Labrador, M. A. A Survey on Human Activity Recognition using Wearable Sensors. IEEE Communications Surveys Tutorials. 15 (3), 1192-1209 (2013).
  2. Foerster, F., Smeja, M., Fahrenberg, J. Detection of posture and motion by accelerometry: a validation study in ambulatory monitoring. Computers in Human Behavior. 15 (5), 571-583 (1999).
  3. Elsmore, T. F., Naitoh, P. . Monitoring Activity With a Wrist-Worn Actigraph: Effects of Amplifier Passband and threshold Variations. , (1993).
  4. Kripke, D. F., Webster, J. B., Mullaney, D. J., Messin, S., Mason, W. . Measuring sleep by wrist actigraph. , (1981).
  5. Lockhart, J. W., Pulickal, T., Weiss, G. M. Applications of mobile activity recognition. Proceedings of the 2012 ACM Conference on Ubiquitous Computing. , 1054-1058 (2012).
  6. Incel, O. D., Kose, M., Ersoy, C. A Review and Taxonomy of Activity Recognition on Mobile Phones. BioNanoScience. 3 (2), 145-171 (2013).
  7. Yang, C. C., Hsu, Y. L. A Review of Accelerometry-Based Wearable Motion Detectors for Physical Activity Monitoring. Sensors. 10 (8), 7772-7788 (2010).
  8. He, Y., Li, Y. Physical Activity Recognition Utilizing the Built-In Kinematic Sensors of a Smartphone. International Journal of Distributed Sensor Networks. 2013, (2013).
  9. Vo, Q. V., Hoang, M. T., Choi, D. Personalization in Mobile Activity Recognition System using K-medoids Clustering Algorithm. International Journal of Distributed Sensor Networks. 2013, (2013).
  10. Dernbach, S., Das, B., Krishnan, N. C., Thomas, B. L., Cook, D. J. Simple and Complex Activity Recognition through Smart Phones. , 214-221 (2012).
  11. Hache, G., Lemaire, E. D., Baddour, N. Mobility change-of-state detection using a smartphone-based approach. IEEE International Workshop on Medical Measurements and Applications Proceedings (MeMeA). , 43-46 (2010).
  12. Wu, H. H., Lemaire, E. D., Baddour, N. Change-of-state determination to recognize mobility activities using a BlackBerry smartphone. , 5252-5255 (2011).
  13. Wu, H., Lemaire, E. D., Baddour, N. Activity Change-of-state Identification Using a Blackberry Smartphone. Journal of Medical and Biological Engineering. 32 (4), 265-271 (2012).
  14. Tundo, M. D., Lemaire, E., Baddour, N. Correcting Smartphone orientation for accelerometer-based analysis. IEEE International Symposium on Medical Measurements and Applications Proceedings (MeMeA). , 58-62 (2013).
  15. Tundo, M. D. . Development of a human activity recognition system using inertial measurement unit sensors on a smartphone. , (2014).

Play Video

Citar este artículo
Lemaire, E. D., Tundo, M. D., Baddour, N. Evaluation of a Smartphone-based Human Activity Recognition System in a Daily Living Environment. J. Vis. Exp. (106), e53004, doi:10.3791/53004 (2015).

View Video