일상 생활 환경에서 스마트 폰 기반의 인간 활동 인식 시스템의 평가
Summary
A standardized evaluation method was developed for Wearable Mobility Monitoring Systems (WMMS) that includes continuous activities in a realistic daily living environment. Testing with a series of daily living activities can decrease activity recognition sensitivity; therefore, realistic testing circuits are encouraged for valid evaluation of WMMS performance.
Abstract
An evaluation method that includes continuous activities in a daily-living environment was developed for Wearable Mobility Monitoring Systems (WMMS) that attempt to recognize user activities. Participants performed a pre-determined set of daily living actions within a continuous test circuit that included mobility activities (walking, standing, sitting, lying, ascending/descending stairs), daily living tasks (combing hair, brushing teeth, preparing food, eating, washing dishes), and subtle environment changes (opening doors, using an elevator, walking on inclines, traversing staircase landings, walking outdoors).
To evaluate WMMS performance on this circuit, fifteen able-bodied participants completed the tasks while wearing a smartphone at their right front pelvis. The WMMS application used smartphone accelerometer and gyroscope signals to classify activity states. A gold standard comparison data set was created by video-recording each trial and manually logging activity onset times. Gold standard and WMMS data were analyzed offline. Three classification sets were calculated for each circuit: (i) mobility or immobility, ii) sit, stand, lie, or walking, and (iii) sit, stand, lie, walking, climbing stairs, or small standing movement. Sensitivities, specificities, and F-Scores for activity categorization and changes-of-state were calculated.
The mobile versus immobile classification set had a sensitivity of 86.30% ± 7.2% and specificity of 98.96% ± 0.6%, while the second prediction set had a sensitivity of 88.35% ± 7.80% and specificity of 98.51% ± 0.62%. For the third classification set, sensitivity was 84.92% ± 6.38% and specificity was 98.17 ± 0.62. F1 scores for the first, second and third classification sets were 86.17 ± 6.3, 80.19 ± 6.36, and 78.42 ± 5.96, respectively. This demonstrates that WMMS performance depends on the evaluation protocol in addition to the algorithms. The demonstrated protocol can be used and tailored for evaluating human activity recognition systems in rehabilitation medicine where mobility monitoring may be beneficial in clinical decision-making.
Introduction
유비쿼터스 센싱으로 인해 더욱 강력하고, 소형, 저비용 컴퓨팅 및 장비 1 감지에 매력적인 연구 분야가되었다. 소비자 수준의 마이크로 고정밀 1 동작 특성을 검출 할 수 있기 때문에 착용 형 센서를 사용하여 이동성 모니터링은 많은 관심을 생성했다. 4 – 예비 연구 (2) 1990 년대 1980 년대에 수행과 함께 착용 할 수있는 센서를 이용하여 인간의 활동 인식 (HAR)는 연구의 최근의 영역입니다.
현대 스마트 폰은 이동 활성 인식에 필요한 센서 및 실시간 계산 능력을 포함하고있다. 디바이스에 대한 실시간 분석은 사용자 또는 연구자의 개입없이 활동 분류 및 데이터 업로드를 허용한다. 이동성 분석 소프트웨어와 스마트 폰은 감지, 집 또는 작업 자동화 및자가 관리 exercis 가을, 피트니스 추적, 상태 모니터링을 제공 할 수있다전자 프로그램 5. 스마트 폰은 내장 된 센서 출력 (6)으로 계산 수학 신호 생성 기능을 이용하여, 인간의 이동과 활동 이동 패턴을 검출하기위한 관성 측정 플랫폼이 고려 될 수있다. 일반적인 특성 생성 방법은 휴리스틱, 시간 영역, 주파수 영역, 및 웨이블릿 분석 기반 접근법 7을 포함한다.
지정된 활동 1,5,6,7를 검출 할 때 현대 스마트 폰 HAR 시스템은 높은 예측 정확도를 보여 주었다. 대부분의 연구가 자신의 트레이닝 세트, 환경 설정, 및 데이터 수집 프로토콜을 갖기 때문에 이러한 연구 평가 방법론뿐만 아니라 정확도가 다양. 민감도, 특이도, 정밀도, 소환, 정밀도 및 F 점수는 일반적으로 예측 품질을 기술하기 위해 사용된다. 그러나, 정보를 거의 실시간으로 활동의 변화를 감지 할 수있는 능력의 "동시 활동"인식과 평가 방법을 볼 수 있습니다1, 여러 활동을 분류하려고 시도 HAR 시스템. HAR 시스템의 정확성에 대한 평가 방법을 연구 사이에 실질적으로 다를 수 있습니다. 에 관계없이 분류 알고리즘 또는 적용 기능, 금 표준 평가 방법에 대한 설명은 대부분의 HAR 연구를위한 모호하다.
일상 생활 환경에서 활동 인식이 광범위하게 연구되지 않았습니다. 대부분 폰 기반 활동 인식 시스템은 실제 환경에 알고리즘보다는 현실적인 것이 유리할 수있다 평가 프로토콜 선도, 제어 된 방식으로 평가된다. 자신의 평가 체계 내에서, 참가자들은 오히려 실제 이벤트를 모방, 연속적으로 수행하기 위해 참가자를위한 현실적인 활동의 넓은 범위를 적용하는 것보다 예측를 대상으로 만 작업을 수행 할 수 있습니다.
일부 스마트 폰 HAR은 계단과 도보로 함께 8,9 그룹 유사한 활동을, 연구하지만, 데이터 세트에서 다른 활동을 제외. 예측 정밀도는 다음 알고리즘이 목표 활동을 식별하는 방법도 결정한다. Dernbach 등. 9는 참가자들이 지속적인 변화의 상태 전이를 차단, 이동하기 전에 실행하려고했다 활동을 기록했다. 참가자가 일상 생활 속에서 자연의 작업을 수행하는 동안 HAR 시스템 평가는 알고리즘을 평가해야한다. 이 응용 프로그램의 일상적인 사용을 복제하는 실제 평가를 허용합니다. 현실적인 회로는 많은 사람들의 상태 변화-뿐만 아니라 시스템에 의해 예측 가능한되지 않은 조치의 혼합을 포함한다. 연구자는 이렇게 변칙적 인 움직임 알고리즘의 견고성을 평가, 이러한 추가 움직임에 알고리즘의 응답을 평가할 수 있습니다.
이 논문은 실제 일상 생활 환경을 반영하는 제어 과정을 사용하여 착용 할 수있는 모바일 모니터링 시스템 (WMMS) 평가 프로토콜을 제공합니다. WMMS평가는 제어하지만 현실 조건 하에서 이루어질 수있다. 이 프로토콜에서 우리는 오타와의 대학과 오타와 병원 연구소 11-15에서 개발 된 3 세대 WMMS를 사용합니다. WMMS은 3 축 가속도계 및 자이로 스코프와 스마트 폰을 위해 설계되었습니다. 이동성 알고리즘은 사용자를 차지하는 변동성 변경 -의 상태 확인을위한 위양성의 수의 감소를 제공하고, 활성 분류 감도를 증가시킨다. WMMS 더 WMMS 분류를 개선 상황에 맞는 활동 평가를 위해, 국가의 활동에 변화가 감지되는 짧은 동영상 촬영을 유발하기 때문에 오 탐지를 최소화하는 것이 중요합니다. 불필요한 영상 기록 저장 및 배터리 사용의 비 효율성을 만듭니다. WMMS 알고리즘 예지 레벨의 증가는 양의 증가를 의미하는 다른 예측 수치를 이용하여 낮은 연산 학습 모델로서 구성과 평가의 인식 행위.
Protocol
Representative Results
Discussion
착용 할 수있는 모바일 모니터링 시스템과 인간 활동의 인식으로 인해 착용 컴퓨팅 및 스마트 폰과 임상 의사 결정과 건강 개입의 평가에 도움이 정량 결과 측정에 대한 체계적인 요구 사항의 기술 발전에 최근 몇 년 동안 더 많은 관심을 받고있다. 이 문서에서 설명하는 방법은 활동 분류 오류가 일상 생활의 활동과 산책 시나리오의 넓은 범위를 평가에 포함되지 않은 경우 본 없었을 것이다 발?…
Divulgaciones
The authors have nothing to disclose.
Acknowledgements
저자는 기술 및 데이터 수집 지원 에반 Beisheim, 니콜 Capela의 앤드류 허버트-코플리을 인정합니다. 프로젝트 자금은 연구에 사용 된 스마트 폰을 포함한 자연 과학 및 캐나다 (NSERC)의 공학 연구 협의회 및 BlackBerry 회사로부터 받았습니다.
Materials
| Smartphone or wearable measurement device | Blackberry | Z10 | |
| Smartphone for video recording | Blackberry | Z10 or 9800 | |
| Phone holster | Any | ||
| Data logger application for the smartphone | BlackBerry World – TOHRC Data Logger for BlackBerry 10 | http://appworld.blackberry.com/webstore/content/32013891/?countrycode=CA | |
| Wearable mobility measurement | Custom Blackberry 10 and Matlab software for mobility monitoring | http://www.irrd.ca/cag/smartphone/ | |
| Video editing or analysis software | Motion Analysis Tools | http://www.irrd.ca/cag/mat/ |
Referencias
- Lara, O. D., Labrador, M. A. A Survey on Human Activity Recognition using Wearable Sensors. IEEE Communications Surveys Tutorials. 15 (3), 1192-1209 (2013).
- Foerster, F., Smeja, M., Fahrenberg, J. Detection of posture and motion by accelerometry: a validation study in ambulatory monitoring. Computers in Human Behavior. 15 (5), 571-583 (1999).
- Elsmore, T. F., Naitoh, P. . Monitoring Activity With a Wrist-Worn Actigraph: Effects of Amplifier Passband and threshold Variations. , (1993).
- Kripke, D. F., Webster, J. B., Mullaney, D. J., Messin, S., Mason, W. . Measuring sleep by wrist actigraph. , (1981).
- Lockhart, J. W., Pulickal, T., Weiss, G. M. Applications of mobile activity recognition. Proceedings of the 2012 ACM Conference on Ubiquitous Computing. , 1054-1058 (2012).
- Incel, O. D., Kose, M., Ersoy, C. A Review and Taxonomy of Activity Recognition on Mobile Phones. BioNanoScience. 3 (2), 145-171 (2013).
- Yang, C. C., Hsu, Y. L. A Review of Accelerometry-Based Wearable Motion Detectors for Physical Activity Monitoring. Sensors. 10 (8), 7772-7788 (2010).
- He, Y., Li, Y. Physical Activity Recognition Utilizing the Built-In Kinematic Sensors of a Smartphone. International Journal of Distributed Sensor Networks. 2013, (2013).
- Vo, Q. V., Hoang, M. T., Choi, D. Personalization in Mobile Activity Recognition System using K-medoids Clustering Algorithm. International Journal of Distributed Sensor Networks. 2013, (2013).
- Dernbach, S., Das, B., Krishnan, N. C., Thomas, B. L., Cook, D. J. Simple and Complex Activity Recognition through Smart Phones. , 214-221 (2012).
- Hache, G., Lemaire, E. D., Baddour, N. Mobility change-of-state detection using a smartphone-based approach. IEEE International Workshop on Medical Measurements and Applications Proceedings (MeMeA). , 43-46 (2010).
- Wu, H. H., Lemaire, E. D., Baddour, N. Change-of-state determination to recognize mobility activities using a BlackBerry smartphone. , 5252-5255 (2011).
- Wu, H., Lemaire, E. D., Baddour, N. Activity Change-of-state Identification Using a Blackberry Smartphone. Journal of Medical and Biological Engineering. 32 (4), 265-271 (2012).
- Tundo, M. D., Lemaire, E., Baddour, N. Correcting Smartphone orientation for accelerometer-based analysis. IEEE International Symposium on Medical Measurements and Applications Proceedings (MeMeA). , 58-62 (2013).
- Tundo, M. D. . Development of a human activity recognition system using inertial measurement unit sensors on a smartphone. , (2014).
