日常生活環境におけるスマートフォンベースの人間活動の認識システムの評価
概要
A standardized evaluation method was developed for Wearable Mobility Monitoring Systems (WMMS) that includes continuous activities in a realistic daily living environment. Testing with a series of daily living activities can decrease activity recognition sensitivity; therefore, realistic testing circuits are encouraged for valid evaluation of WMMS performance.
Abstract
An evaluation method that includes continuous activities in a daily-living environment was developed for Wearable Mobility Monitoring Systems (WMMS) that attempt to recognize user activities. Participants performed a pre-determined set of daily living actions within a continuous test circuit that included mobility activities (walking, standing, sitting, lying, ascending/descending stairs), daily living tasks (combing hair, brushing teeth, preparing food, eating, washing dishes), and subtle environment changes (opening doors, using an elevator, walking on inclines, traversing staircase landings, walking outdoors).
To evaluate WMMS performance on this circuit, fifteen able-bodied participants completed the tasks while wearing a smartphone at their right front pelvis. The WMMS application used smartphone accelerometer and gyroscope signals to classify activity states. A gold standard comparison data set was created by video-recording each trial and manually logging activity onset times. Gold standard and WMMS data were analyzed offline. Three classification sets were calculated for each circuit: (i) mobility or immobility, ii) sit, stand, lie, or walking, and (iii) sit, stand, lie, walking, climbing stairs, or small standing movement. Sensitivities, specificities, and F-Scores for activity categorization and changes-of-state were calculated.
The mobile versus immobile classification set had a sensitivity of 86.30% ± 7.2% and specificity of 98.96% ± 0.6%, while the second prediction set had a sensitivity of 88.35% ± 7.80% and specificity of 98.51% ± 0.62%. For the third classification set, sensitivity was 84.92% ± 6.38% and specificity was 98.17 ± 0.62. F1 scores for the first, second and third classification sets were 86.17 ± 6.3, 80.19 ± 6.36, and 78.42 ± 5.96, respectively. This demonstrates that WMMS performance depends on the evaluation protocol in addition to the algorithms. The demonstrated protocol can be used and tailored for evaluating human activity recognition systems in rehabilitation medicine where mobility monitoring may be beneficial in clinical decision-making.
Introduction
ユビキタスセンシングが原因で、ますます強力な、小型で低コストのコンピューティングおよび感知装置1に係研究領域となっています。消費者レベルのマイクロエレクトロニクスは、高精度で1運動特性を検出することが可能であるため、ウェアラブルセンサを用いて移動度のモニタリングは、大きな関心を生成しました。 4 –ウェアラブルセンサを用いて人間の行動認識（HAR）は、1980年代と1990年代2で行われる予備的研究と、研究の最近の領域です。
現代のスマートフォンは、移動性活動認識のために必要なセンサおよびリアルタイム計算能力を含みます。デバイス上のリアルタイム解析は、ユーザーや研究者の介入なしに活動の分類とデータのアップロードが可能になります。移動度分析ソフトウェアを使用してスマートフォンを検出、自宅や作業の自動化、および自己管理exercis秋、フィットネス追跡、ヘルスモニタリングを提供することができますEプログラム5。スマートフォンは、オンボードセンサ出力6で計算数学信号生成機能を使用して、ヒトにおいてモバイル活動及びモバイルパターンを検出するための慣性計測プラットフォームと考えることができます。共通の特徴の生成方法は、ヒューリスティック、時間領域、周波数領域、及びウェーブレット解析に基づくアプローチ7を含みます 。
指定されたアクティビティ-1,5,6,7-を検出する現代のスマートフォンHARシステムは、高い予測精度を示しました。ほとんどの研究が自分のトレーニングセット、環境設定、及びデータ収集プロトコルを持っているので、これらの研究は、評価方法と同様の精度が変化します。感度、特異性、精度、再現率、精度、およびF-スコアは、一般的に、予測品質を記述するために使用されます。しかし、情報のほとんどは、リアルタイムでの活動の変化を検出する能力の「コンカレント活動」の認識と評価のための方法で提供されています1、いくつかの活動を分類しようとするHARシステム用。 HARのシステム精度のための評価法は、研究の間で実質的に変化。かかわらず、分類アルゴリズムまたは適用される機能の、金の説明は、標準的な評価方法は、ほとんどのHAR研究の曖昧です。
日常生活環境で活動認識が広く研究されていません。ほとんどのスマートフォンに基づく行動認識システムは、実世界環境にアルゴリズムではなく、現実的に有利であり得る評価プロトコルにつながる、制御された方法で評価しました。その評価制度の中で、参加者は多くの場合、現実の事象を模倣ではなく、連続して実行するために、参加者のための現実的な活動の広い範囲を適用するよりも、予測のために意図されたアクションのみを実行します。
一部のスマートフォンのHARは、階段や歩行のように、一緒に8,9グループ同様の活動を研究ただし、データセットから他の活動を除外します。予測精度は、アルゴリズムが標的活性を同定する方法もすることによって決定されます。 Dernbach ら 9は、参加者が連続チェンジの状態遷移を中断し、移動する前に、実行しようとした活動を記述していました。参加者は日常生活の設定で自然なアクションを実行しながら、HARシステムの評価はアルゴリズムを評価すべきです。これは、アプリケーションの毎日の使用を複製現実の評価を可能にするであろう。現実的な回路は、多くの状態変化、ならびにシステムによって断定ないアクションのミックスが含まれています。研究者はその後、このように異常な動きに、アルゴリズムの堅牢性を評価、これらの追加の動きに対するアルゴリズムの応答を評価することができます。
本論文では、現実の日常生活の環境を反映した制御コースを使用するウェアラブルモビリティモニタリングシステム（WMMS）評価プロトコルを提示します。 WMMS評価はその後、制御されていても、現実的な条件の下で行うことができます。このプロトコルでは、オタワ大学で開発された第三世代WMMSを使用して、オタワ病院研究所11-15。 WMMSは、3軸加速度計とジャイロスコープを持つスマートフォン用に設計されました。モビリティアルゴリズムは、ユーザの変動を考慮し、変化の状態を同定するための偽陽性の数の減少を提供し、活動の分類に感度を増大させます。 WMMSはさらにWMMS分類を改善状況依存活性評価のために、状態の活動の変化が検出された短いビデオクリップ撮影をトリガーするため、誤検知を最小にすることが重要です。不要な映像記録が保管し、バッテリ使用中の非効率性を作成します。 WMMSアルゴリズムは、予測値の増加は量の増加を意味する異なる予測レベルを用いて低計算学習モデルとして構成され、評価されています認識可能なアクションの。
Protocol
Representative Results
Discussion
ウェアラブルモビリティ監視システムと人間の活動の認識はウェアラブルコンピューティングやスマートフォンの技術の進歩と臨床意思決定と健康介入の評価に役立つ定量的なアウトカム指標のための体系的なニーズのために、近年ではより多くの注目を集めています。活動分類エラーは日常生活や歩行シナリオの幅広い活動が評価に含まれていなかった場合に存在していないことが判明し?…
開示
The authors have nothing to disclose.
Acknowledgements
著者は、技術およびデータ収集の支援のためにエヴァンBeisheim、ニコールカペラ、アンドリュー・ハーバート・コプリーを認めます。プロジェクトの資金を研究に使用するスマートフォンなど、自然科学とカナダの工学研究評議会（NSERC）とBlackBerry社から受け取りました。
Materials
| Smartphone or wearable measurement device | Blackberry | Z10 | |
| Smartphone for video recording | Blackberry | Z10 or 9800 | |
| Phone holster | Any | ||
| Data logger application for the smartphone | BlackBerry World – TOHRC Data Logger for BlackBerry 10 | http://appworld.blackberry.com/webstore/content/32013891/?countrycode=CA | |
| Wearable mobility measurement | Custom Blackberry 10 and Matlab software for mobility monitoring | http://www.irrd.ca/cag/smartphone/ | |
| Video editing or analysis software | Motion Analysis Tools | http://www.irrd.ca/cag/mat/ |
参考文献
- Lara, O. D., Labrador, M. A. A Survey on Human Activity Recognition using Wearable Sensors. IEEE Communications Surveys Tutorials. 15 (3), 1192-1209 (2013).
- Foerster, F., Smeja, M., Fahrenberg, J. Detection of posture and motion by accelerometry: a validation study in ambulatory monitoring. Computers in Human Behavior. 15 (5), 571-583 (1999).
- Elsmore, T. F., Naitoh, P. . Monitoring Activity With a Wrist-Worn Actigraph: Effects of Amplifier Passband and threshold Variations. , (1993).
- Kripke, D. F., Webster, J. B., Mullaney, D. J., Messin, S., Mason, W. . Measuring sleep by wrist actigraph. , (1981).
- Lockhart, J. W., Pulickal, T., Weiss, G. M. Applications of mobile activity recognition. Proceedings of the 2012 ACM Conference on Ubiquitous Computing. , 1054-1058 (2012).
- Incel, O. D., Kose, M., Ersoy, C. A Review and Taxonomy of Activity Recognition on Mobile Phones. BioNanoScience. 3 (2), 145-171 (2013).
- Yang, C. C., Hsu, Y. L. A Review of Accelerometry-Based Wearable Motion Detectors for Physical Activity Monitoring. Sensors. 10 (8), 7772-7788 (2010).
- He, Y., Li, Y. Physical Activity Recognition Utilizing the Built-In Kinematic Sensors of a Smartphone. International Journal of Distributed Sensor Networks. 2013, (2013).
- Vo, Q. V., Hoang, M. T., Choi, D. Personalization in Mobile Activity Recognition System using K-medoids Clustering Algorithm. International Journal of Distributed Sensor Networks. 2013, (2013).
- Dernbach, S., Das, B., Krishnan, N. C., Thomas, B. L., Cook, D. J. Simple and Complex Activity Recognition through Smart Phones. , 214-221 (2012).
- Hache, G., Lemaire, E. D., Baddour, N. Mobility change-of-state detection using a smartphone-based approach. IEEE International Workshop on Medical Measurements and Applications Proceedings (MeMeA). , 43-46 (2010).
- Wu, H. H., Lemaire, E. D., Baddour, N. Change-of-state determination to recognize mobility activities using a BlackBerry smartphone. , 5252-5255 (2011).
- Wu, H., Lemaire, E. D., Baddour, N. Activity Change-of-state Identification Using a Blackberry Smartphone. Journal of Medical and Biological Engineering. 32 (4), 265-271 (2012).
- Tundo, M. D., Lemaire, E., Baddour, N. Correcting Smartphone orientation for accelerometer-based analysis. IEEE International Symposium on Medical Measurements and Applications Proceedings (MeMeA). , 58-62 (2013).
- Tundo, M. D. . Development of a human activity recognition system using inertial measurement unit sensors on a smartphone. , (2014).
