落下検知システムの単純化のための設計と解析
Summary
マルチモーダルセンサをベースにした手法を提示し、シンプルで快適で高速な落下検知と人間の活動認識システムを構成します。目標は、簡単に実装し、採用することができる正確な落下検出のためのシステムを構築することです。
Abstract
本論文では、マルチモーダルセンサをベースにした手法を用いて、簡単に実装し、採用できる、シンプルで快適で高速な落下検出と人間の活動認識システムを構成する方法論を紹介する。この方法論は、特定のタイプのセンサー、機械学習方法、および手順の構成に基づいています。このプロトコルは、(1)データベース作成(2)データ分析(3)システムの簡素化と(4)評価の4つのフェーズに分けられる。この方法論を用いて、落下検出と人間の活動認識のためのマルチモーダルデータベース、すなわちUP-Fall Detectionを作成しました。これは、3回の試験中に5種類の転倒と6つの異なる単純な活動を行う17の被験者からのデータサンプルで構成されています。すべての情報は、5つのウェアラブルセンサー(3軸加速度計、ジャイロスコープ、光強度)、1つの脳波ヘルメット、6つの赤外線センサーを周囲センサー、および横と正面の視点で2台のカメラを使用して収集されました。提案された新しい方法論は、落下検出システムを簡素化するために、次の設計上の問題の深い分析を行うためにいくつかの重要な段階を追加します:a)単純な落下検出システムで使用するセンサーまたはセンサーの組み合わせを選択し、b)情報源の最適な配置を決定し、c)落下および人間の活動検出および認識に最も適した機械学習分類方法を選択する。文献で報告されている一部のマルチモーダルアプローチは、上記の問題の1つまたは2つに焦点を当てていますが、我々の方法論は、人間の転倒と活動検出および認識システムに関連するこれら3つの設計上の問題を同時に解決することを可能にする。
Introduction
人口高齢化の世界現象は1、転倒率が増加しており、実際には大きな健康問題と考えられています2。転倒が起こると、人々は否定的な結果を減らすために直ちに注意を払う必要があります。落下検知システムは、転倒が発生したときにアラートを送信する医師の診察を受ける時間を短縮することができます。
落下検出システム3にはさまざまな分類があります。初期の作品4は、検出方法、分析方法、機械学習方法によって落下検出システムを分類します。最近では、他の著者33、5、65,6は、落下検出器を分類するための主な特徴としてデータ取得センサーを考慮しています。Igualら3は、落下検出システムを、ビジョンおよびアンビエントセンサーベースのアプローチ、ウェアラブルデバイスシステムを含むコンテキスト対応システムに分割します。Mubashirら5は、データ収集に使用されるデバイス(ウェアラブルデバイス、アンビエンスセンサー、ビジョンベースのデバイス)に基づいて、落下検出器を3つのグループに分類します。Perry et al.6では、加速度測定方法、他の方法と組み合わせた加速度測定方法、および加速度を測定しない方法を検討する。これらの調査から、センサとメソッドが一般的な研究戦略を分類する主要な要素であると判断できます。
各センサーには、Xuら 7 で説明されている弱点と強みがあります。ビジョンベースのアプローチでは、主に通常のカメラ、深度センサーカメラ、モーションキャプチャシステムを使用します。通常のウェブカメラは低コストで使いやすいですが、環境条件(光変動、遮蔽など)に敏感であり、スペースの削減でしか使用できないので、プライバシーの問題があります。Kinect などの深度カメラは、フルボディの 3D モーション7を提供し、通常のカメラよりも照明条件の影響を受けにくい。しかし、Kinect に基づくアプローチは、堅牢で信頼性が高くはありません。モーション キャプチャ システムは、コストが高く、使用が困難です。
加速度計を内蔵した加速度計やスマートフォン/時計に基づくアプローチは、落下検知に非常に一般的に使用されます。これらのデバイスの主な欠点は、長期間着用しなければならないということです。不快感、目立たさ、身体の配置、向きは、これらのアプローチで解決すべき設計上の問題です。スマートフォンやスマートウォッチはセンサーの目立たないデバイスですが、高齢者はしばしば忘れているか、常にこれらのデバイスを着用するとは限りません。それにもかかわらず、これらのセンサーおよび装置の利点は多くの部屋および/または屋外で使用することができることである。
システムによっては、環境周辺に設置されたセンサーを使用して転倒/活動を認識するため、センサーを装着する必要がないものがあります。ただし、これらのセンサーは、8を展開する場所に限定され、インストールが困難な場合もあります。近年、マルチモーダル落下検出システムには、より正確で堅牢性を高めるために、ビジョン、ウェアラブル、および周囲のセンサの異なる組み合わせが含まれています。また、シングルセンサーの制限の一部を克服することもできます。
落下検出に使用される方法論は、データ取得、信号前処理およびセグメンテーション、特徴抽出および選択、トレーニングおよび分類の段階からなるBulling et al.9によって提示されたヒト活動認識チェーン(ARC)と密接に関連している。これらの各段階で、設計上の問題を解決する必要があります。各ステージでは、さまざまな方法が使用されます。
マルチモーダルセンサをベースにした手法を提示し、シンプルで快適で高速な人の転倒と人間の活動検出/認識システムを構成します。目標は、簡単に実装し、採用することができる正確な落下検出のためのシステムを構築することです。提案された新しい方法論はARCに基づいていますが、システムを簡素化するために次の問題の詳細な分析を実行するための重要なフェーズが追加されます: (a)単純な落下検出システムで使用するセンサーまたはセンサーの組み合わせを選択します。(b) 情報源の最適な配置を決定する。(c)落下検出と人間の活動認識のための最も適した機械学習分類方法を選択して、単純なシステムを作成します。
上記のデザイン問題の1つまたは2つに対応した文献に関連する作品がいくつかありますが、私たちの知る限りでは、これらの問題をすべて克服するための方法論に焦点を当てた作品はありません。
関連作品は、堅牢性を高め、精度を高めるために、落下検出と人間活動認識10、11、1211,12のためのマルチモーダルアプローチを使用しています。10Kwolekら10は、加速度データと深度マップに基づく落下検出システムの設計と実装を提案した。彼らは、潜在的な落下と人の動きを検出するために3軸加速度計を実装する興味深い方法論を設計しました。加速度メジャーがしきい値を超えると、アルゴリズムはオンライン更新された深度参照マップから深度マップを差分化する人物を抽出します。深さと加速度計の組み合わせの分析は、サポートベクターマシン分類器を使用して行われました。
Ofli et al.11は、新しいヒト活動認識システムの試験床を提供するために、マルチモーダルヒューマンアクションデータベース(MHAD)を発表した。このデータセットは、1つの光学モーションキャプチャシステム、4つのマルチビューカメラ、1つのKinectシステム、4つのマイク、6つのワイヤレス加速度計を使用して同時に収集されるため、重要です。著者らは、Kinect、モキャップ、加速度計、オーディオの各モダリティの結果を発表した。
Dovgan et al.12は、高齢者における転倒を含む異常な挙動を検出するためのプロトタイプを提案した。彼らは、落下および異常な行動検出のための最も適切な機器を見つけるために、3つのセンサーシステムのテストを設計しました。最初の実験は、腰、膝、足首、手首、肘、肩に12個のタグが取り付けられたスマートセンサーシステムのデータで構成されています。また、腰、胸部、足首の両方に4つのタグを取り付けた1つのUbisenseセンサーシステムと、1つのXsens加速度計を使用してテストデータセットを作成しました。第3の実験では、4つの被験者がUbisenseシステムのみを使用し、4種類の転倒、4つの健康問題を異常な行動として、そして日常生活の異なる活動(ADL)を行う。
文献13、14、15,15の他の作品は13、センサーの様々な組み合わせと複数の分類器を比較して、落下検出のためのセンサーまたはデバイスの最良の配置を見つけるという問題に取り組んでいます。三世ら13は、落下検出のための5つのセンサーの位置の重要性を評価する体系的な評価を提示した。K-近傍(KNN)、サポートベクターマシン(SVM)、ナイーブベイズ(NB)、デシジョンツリー(DT)分類子を使用して、これらのセンサーの組み合わせの性能を比較しました。彼らは、被検体上のセンサーの位置は、使用される分類器とは無関係に落下検出器の性能に重要な影響を及ぼすと結論付ける。
落下検出のための身体のウェアラブルセンサー配置の比較は、Özdemir14によって提示されました。センサーの配置を決定するために、著者は、次の位置の31のセンサーの組み合わせを分析しました:頭、腰、胸、右手首、右足首と右太もも。14人のボランティアが20の模擬滝と16のADLを行いました。彼は、これらの徹底的な組み合わせ実験から単一のセンサーがウエストに配置されたときに最高の性能が得られたことを発見しました。もう一つの比較は、オズデミールのデータセットを使用してNtanasis15によって提示されました。著者らは、J48、KNN、RF、ランダム委員会(RC)およびSVMを使用して、頭部、胸部、腰、手首、足首および太ももの単一の位置を比較した。
落下検出のための異なる計算方法の性能のベンチマークは、文献16、17、1817,18にも見られる。16Bagalaら16は、実際の転倒で試験した13個の落下検出方法の性能を評価する系統的比較を提示した。彼らは、腰やトランクに置かれた加速度計の測定値に基づいてアルゴリズムのみを考慮しました。Bourkeら17は、ADLのデータセットを用いて落下検出のための5つの分析アルゴリズムの性能を評価し、加速度計の測定値に基づいて落下した。ケルデガリ18はまた、記録された加速度データのセットに対する異なる分類モデルの性能の比較を行った。落下検出に使用されるアルゴリズムは、ゼロR、1R、NB、DT、多層パーセプトロン、SVMであった。
落下検出の方法論は、人間の活動の累積ヒストグラムベースの表現を構築するために運動ポーズ幾何学的記述子を使用してAlazraiららによって提案された。彼らはKinectセンサーで収集されたデータセットを使用してフレームワークを評価しました。
要約すると、モダリティの異なる組み合わせのパフォーマンスを比較するマルチモーダル落下検出関連の作品10,10、11、1212を発見しました。11一部の著者は、センサー13、14、15、,14,15または複数の分類子を持つセンサ13の組み合わせの最良の配置を見つけるという問題に取り組んでいます13,,15,,16同じモダリティと加速度計の複数のセンサーを持つ.配置、マルチモーダルの組み合わせ、分類器ベンチマークに同時に対処する文献には作品は見つかりませんでした。
Protocol
Representative Results
Discussion
データセットの作成時に同期、組織、データの不整合の問題20が発生するのは一般的です。
同期
データの取得では、複数のセンサーが一般的に異なるサンプリングレートで動作することを考えると、同期の問題が発生します。周波数の高いセンサーは、周波数の低いセンサーよりも多くのデータを収集します。したがって、異なるソースからのデータは正しくペアにされません。センサーが同じサンプリングレートで動作する場合でも、データが整列されない可能性があります。この点に関して、以下の推奨事項は、これらの同期問題20:(i) レジスタタイムスタンプ、件名、アクティビティ、およびセンサーから取得した各データサンプルの試行を処理するのに役立つ可能性があります。(ii) 最も一貫性があり、頻度の低い情報源は、同期の基準信号として使用する必要があります。(iii) 自動または半自動の手順を使用して、手動検査が実用的でなくてはなることをビデオ録画と同期させます。
データの前処理
データの事前処理も行う必要があり、重要な決定がこのプロセスに影響を与えます:(a)データストレージの方法と複数および異機種のソースのデータ表現(b)ローカルホストまたはクラウド上のデータを保存する方法を決定する(c)ファイル名とフォルダ(d)データの欠損値とセンサーで見つかった冗長性を含むデータの組織を選択する、とりわけ。また、データ クラウドでは、アップロード時のデータ損失を軽減するために可能な場合はローカル バッファリングをお勧めします。
データの不一致
データの不一致は、データ サンプル サイズのばらつきを検出する試行の間で一般的です。これらの問題は、ウェアラブルセンサーのデータ収集に関連しています。複数のセンサーからのデータ取得とデータ衝突の一時的な中断は、データの不整合につながります。このような場合、センサーのオンライン障害を処理するには、不整合検出アルゴリズムが重要です。実験を通してワイヤレス ベースのデバイスを頻繁に監視する必要があることを強調することが重要です。バッテリが少なくなると、接続に影響を与え、データが失われる可能性があります。
倫理 的
参加の同意と倫理的承認は、人々が関与するすべてのタイプの実験に必須です。
この方法論の制限事項については、データ収集に対して異なるモダリティを考慮するアプローチを考慮するように設計されていることに注意することが重要です。システムには、ウェアラブル、アンビエントセンサー、および/またはビジョンセンサーを含めることができます。データ収集の損失、システム全体の接続性の低下、電力消費などの問題により、デバイスの消費電力とワイヤレスベースのセンサーのバッテリ寿命を考慮することをお勧めします。さらに、この方法論は機械学習方式を使用するシステムを対象としています。これらの機械学習モデルの選択の分析は、事前に行う必要があります。これらのモデルの中には正確であるものの、時間とエネルギーが非常に高いものもあります。機械学習モデルにおけるコンピューティングの正確な見積もりと限られたリソースの利用可能性との間のトレードオフを考慮する必要があります。また、システムのデータ収集において、活動が同じ順序で行われたことを観察することも重要です。また、試験は同じ順序で行われた。安全上の理由から、被験者が転倒するために保護マットレスが使用されました。さらに、滝は自己開始されました。これは、一般的に硬い材料に対して発生する、シミュレートされた落下と実際の落下の間の重要な違いです。その意味で、記録されたこのデータセットは、落下しないようにしようとする直感的な反応で落ちる。さらに、高齢者や障害のある人々の実際の転倒とシミュレーションの落ち込みとの間には、いくつかの違いがあります。そして、新しい落下検知システムを設計する際に、これらを考慮する必要があります。この研究は、障害のない若者に焦点を当てたが、被験者の選択は、システムとそれを使用するターゲット人口の目標に合わせるべきであると言うことは顕著である。
,10,11,12,13,14,15,16,17,18,1811,12,13に記載の関連作品から、堅牢な落下検出器の取得に焦点を当てたマルチモーダルアプローチを用いたり14,15,16,17、分類器の配置や性能に焦点を当てた著者がいるのを観察することができます。1018したがって、落下検出の設計上の問題は 1 つか 2 つしか取り扱えないためです。当社の方法論により、落下検知システムの主な設計上の3つの問題を同時に解決することができます。
今後の研究では、この方法論に基づいて得られた知見に基づいて、単純なマルチモーダル落下検出システムを設計し、実装することをお勧めします。実際の採用では、より堅牢なシステムを開発するために、転送学習、階層分類、およびディープラーニングのアプローチを使用する必要があります。我々の実装では、機械学習モデルの定性的指標は考慮されていませんでしたが、人間の転倒と活動検出/認識システムのさらなる開発のために、リアルタイムで限られたコンピューティングリソースを考慮する必要があります。最後に、データセットを改善するために、日常生活の中でのトリップやほとんど落ち込む活動とボランティアのリアルタイム監視を検討することができます。
Disclosures
The authors have nothing to disclose.
Acknowledgements
この研究は、プロジェクトコードUP-CI-2018-ING-MX-04の下で、助成金「フォメント・ア・ラ・インベスティガシオンUP 2018」を通じてパンアメリカーナ大学から資金提供されています。
Materials
| Inertial measurement wearable sensor | Mbientlab | MTH-MetaTracker | Tri-axial accelerometer, tri-axial gyroscope and light intensity wearable sensor. |
| Electroencephalograph brain sensor helmet MindWave | NeuroSky | 80027-007 | Raw brainwave signal with one forehand sensor. |
| LifeCam Cinema video camera | Microsoft | H5D-00002 | 2D RGB camera with USB cable interface. |
| Infrared sensor | Alean | ABT-60 | Proximity sensor with normally closed relay. |
| Bluetooth dongle | Mbientlab | BLE | Dongle for Bluetooth connection between the wearable sensors and a computer. |
| Raspberry Pi | Raspberry | Version 3 Model B | Microcontroller for infrared sensor acquisition and computer interface. |
| Personal computer | Dell | Intel Xeon E5-2630 v4 @2.20 GHz, RAM 32GB |
References
- United Nations. World Population Prospects: The 2017 Revision, Key Findings and Advance Tables. United Nations. Department of Economic and Social Affairs, Population Division. , (2017).
- World Health Organization. Ageing, and Life Course Unit. WHO Global Report on Falls Prevention in Older Age. , (2008).
- Igual, R., Medrano, C., Plaza, I. Challenges, Issues and Trends in Fall Detection Systems. Biomedical Engineering Online. 12 (1), 66 (2013).
- Noury, N., et al. Fall Detection-Principles and Methods. 2007 29th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 1663-1666 (2007).
- Mubashir, M., Shao, L., Seed, L. A Survey on Fall Detection: Principles and Approaches. Neurocomputing. 100, 144-152 (2002).
- Perry, J. T., et al. Survey and Evaluation of Real-Time Fall Detection Approaches. Proceedings of the 6th International Symposium High-Capacity Optical Networks and Enabling Technologies. , 158-164 (2009).
- Xu, T., Zhou, Y., Zhu, J. New Advances and Challenges of Fall Detection Systems: A Survey. Applied Sciences. 8 (3), 418 (2018).
- Rougier, C., Meunier, J., St-Arnaud, A., Rousseau, J. Robust Video Surveillance for Fall Detection Based on Human Shape Deformation. IEEE Transactions on Circuit Systems for Video Technologies. 21, 611-622 (2011).
- Bulling, A., Blanke, U., Schiele, B. A Tutorial on Human Activity Recognition Using Body-Worn Inertial Sensors. ACM Computing Surveys. 46 (3), 33 (2014).
- Kwolek, B., Kepski, M. Human Fall Detection on Embedded Platform Using Depth Maps and Wireless Accelerometer. Computational Methods and Programs in Biomedicine. 117, 489-501 (2014).
- Ofli, F., Chaudhry, R., Kurillo, G., Vidal, R., Bajcsy, R. Berkeley MHAD: A Comprehensive Multimodal Human Action Database. Proceedings of the 2013 IEEE Workshop on Applications of Computer Vision. , 53-60 (2013).
- Dovgan, E., et al. Intelligent Elderly-Care Prototype for Fall and Disease Detection. Slovenian Medical Journal. 80, 824-831 (2011).
- Santoyo-Ramón, J., Casilari, E., Cano-García, J. Analysis of a Smartphone-Based Architecture With Multiple Mobility Sensors for Fall Detection With Supervised Learning. Sensors. 18 (4), 1155 (2018).
- Özdemir, A. An Analysis on Sensor Locations of the Human Body for Wearable Fall Detection Devices: Principles and Practice. Sensors. 16 (8), 1161 (2016).
- Ntanasis, P., Pippa, E., Özdemir, A. T., Barshan, B., Megalooikonomou, V. Investigation of Sensor Placement for Accurate Fall Detection. International Conference on Wireless Mobile Communication and Healthcare. , 225-232 (2016).
- Bagala, F., et al. Evaluation of Accelerometer-Based Fall Detection Algorithms on Real-World Falls. PLoS One. 7, 37062 (2012).
- Bourke, A. K., et al. Assessment of Waist-Worn Tri-Axial Accelerometer Based Fall-detection Algorithms Using Continuous Unsupervised Activities. Proceedings of the Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 2782-2785 (2010).
- Kerdegari, H., Samsudin, K., Ramli, A. R., Mokaram, S. Evaluation of Fall Detection Classification Approaches. 4th International Conference on Intelligent and Advanced Systems. , 131-136 (2012).
- Alazrai, R., Mowafi, Y., Hamad, E. A Fall Prediction Methodology for Elderly Based on a Depth Camera. 37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 4990-4993 (2015).
- Peñafort-Asturiano, C. J., Santiago, N., Núñez-Martínez, J. P., Ponce, H., Martínez-Villaseñor, L. Challenges in Data Acquisition Systems: Lessons Learned from Fall Detection to Nanosensors. 2018 Nanotechnology for Instrumentation and Measurement. , 1-8 (2018).
- Martínez-Villaseñor, L., et al. UP-Fall Detection Dataset: A Multimodal Approach. Sensors. 19 (9), 1988 (2019).
- Rantz, M., et al. Falls, Technology, and Stunt Actors: New approaches to Fall Detection and Fall Risk Assessment. Journal of Nursing Care Quality. 23 (3), 195-201 (2008).
- Lachance, C., Jurkowski, M., Dymarz, A., Mackey, D. Compliant Flooring to Prevent Fall-Related Injuries: A Scoping Review Protocol. BMJ Open. 6 (8), 011757 (2016).
