낙하 감지 시스템 단순화를 위한 설계 및 해석

데이터베이스 만들기우리는 가을 감지 및 인간 활동 인식, 즉 UP-Fall 감지21을위한 멀티모달 데이터 세트를 만들었습니다. 데이터는 유니버시다드 파나메리카나(멕시코 시티, 멕시코)의 공학 부에서 4주 동안 수집되었습니다. 테스트 시나리오는 (a) 피사체가 편안하고 안전하게 낙상 및 활동을 수행할 수 있는 공간, (b) 멀티모달 센서 설정에 적합한 자연 및 인공 조명이 있는 실내 환경을 고려하여 선택되었습니다. 3번의 시험 기간 동안 5가지 유형의 폭포와 6가지 간단한 활동을 수행한 17명의 피험자의 데이터 샘플이 있습니다. 모든 정보는 웨어러블 센서 5개(삼축 가속도계, 자이로스코프 및 광강도), 1개의 뇌전도 헬멧, 6개의 적외선 센서, 측면 및 전면 시야에 있는 2대의 카메라가 있는 사내 데이터 수집 시스템을 사용하여 수집되었습니다. 그림 1은 환경 과 본체에서 센서 배치의 레이아웃을 보여줍니다. 전체 데이터 집합의 샘플링 속도는 18Hz입니다. 데이터베이스에는 통합 원시 데이터 집합(812GB)과 피처 데이터 집합(171GB)의 두 가지 데이터 집합이 포함되어 있습니다. 공용 액세스를 위해 클라우드에 저장된 모든 데이터베이스웨어: https://sites.google.com/up.edu.mx/har-up/. 이 데이터베이스의 데이터 수집, 전처리, 통합 및 저장에 대한 자세한 내용과 동기화 및 데이터 일관성에 대한 자세한 내용은 Martínez-Villaseñor 등21에서확인할 수 있습니다. 이 데이터베이스의 경우, 모든 과목은 건강한 젊은 지원자 (9 남성과 8 여성) 어떤 장애없이했다, 에 이르기까지 18 받는 번째 24 세, 평균 높이 1.66 m와 66.8 kg의 평균 무게. 데이터 수집 중에 기술 책임자 는 모든 활동이 피험자가 올바르게 수행되었는지 감독했습니다. 피험자는 5가지 유형의 낙하를 수행했으며, 10초 동안 각각 손을 사용하여 앞으로(1), 무릎(2), 뒤로(3), 빈 의자(4) 및 옆으로 앉는 다. 또한 점프(30대), 서기(7), 물건 수거(8개), 착석(9개), 점프(10개), 누워(11개) 등 6개의 일상활동을 실시했다. 시뮬레이션된 낙하가 모든 유형의 실제 폭포를 재현할 수는 없지만 적어도 더 나은 낙하 감지 모델을 생성할 수 있는 대표적인 유형의 폭포를 포함하는 것이 중요합니다. 또한 ADL을 사용하는 것과 관련이 있으며, 특히 물체를 줍는 것과 같이 일반적으로 폭포로 오인될 수 있는 활동도 마찬가지입니다. 추락 및 ADL의 종류는 관련 추락 감지시스템(21)을검토한 후 선택되었다. 예를 들어 그림 2는 피사체가 옆으로 떨어질 때 한 번의 평가판의 이미지 시퀀스를 보여 주어 도 2입니다. 우리는 12 개의 시간적 (평균, 표준 편차, 최대 진폭, 최소 진폭, 근평균 제곱, 중앙값, 제로 교차 수, 왜곡, 첨토, 제 1 사분위수, 세 번째 사분위수 및 자기 상관) 및 6 개의 빈번한 (평균, 중앙값, 엔트로피, 에너지, 주요 주파수 및 스펙트럼 중심)을 각 채널에서 21 개의 마모 가능한 센서 및7개의 센서로 추출했습니다. 또한 각 카메라에 대해 400개의 시각적기능(21)을 계산하여 비디오의 두 인접 이미지 사이의 상대적인 픽셀 모션을 계산했습니다. 유니모달 및 멀티모달 접근 방식 간의 데이터 분석UP-Fall Detection 데이터베이스에서 유니모달 및 멀티모달 접근 방식 간의 비교 를 위해 데이터를 분석했습니다. 그런 의미에서 적외선 센서만(IR)이라는 7가지 정보 원수 조합을 비교했습니다. 웨어러블 센서 전용(IMU); 웨어러블 센서 및 헬멧(IMU+EEG); 적외선 및 웨어러블 센서 및 헬멧(IR+IMU+EEG); 카메라 전용 (CAM); 적외선 센서 및 카메라(IR+CAM); 및 웨어러블 센서, 헬멧 및 카메라(IMU+EEG+CAM)를 제공합니다. 또한 1초, 2초, 3초의 세 가지 시간 창 크기를 50% 겹치는 세 가지 시간 창 크기를 비교했습니다. 각 세그먼트에서 기능 선택 및 순위를 적용하는 가장 유용한 기능을 선택했습니다. 이 전략을 사용하여 40개의 기능을 사용하는 IR 모드를 제외한 양식당 10개의 기능만 사용했습니다. 또한 RF, SVM, MLP 및 KNN의 네 가지 잘 알려진 기계 학습 분류기를 통해 비교가 수행되었습니다. 우리는 기계 학습 모델을 교육하기 위해 70 %의 기차와 30 %의 테스트 데이터 세트로 10 배 의 교차 검증을 사용했습니다. 표 1은 기계 학습 모델과 최상의 창 길이 구성에 따라 각 양식에 대해 최상의 성능을 보고하는 이 벤치마크의 결과를 보여 주며, 각 양식에 대해 최상의 성능을 보고합니다. 평가 메트릭은 정확도, 정밀도, 민감도, 특이성 및 F1 점수를 보고합니다. 그림 3은 F1 점수의 관점에서 그래픽 표현에서 이러한 결과를 보여줍니다. 표 1에서멀티 모달 접근법(적외선 및 웨어러블 센서 및 헬멧, IR+IMU+EEG, 웨어러블 센서 및 헬멧 및 카메라, IMU+EEG+CAM)은 단일 모달 접근법(적외선 만, IR 및 카메라 만, CAM)과 비교하여 최고의 F1 점수 값을 얻었습니다. 또한 웨어러블 센서(IMU)만이 멀티모달 접근 방식보다 유사한 성능을 얻었다는 것을 발견했습니다. 이 경우 다른 정보 소스가 다른 사람의 제한을 처리할 수 있기 때문에 다중 모달 접근 방식을 선택했습니다. 예를 들어, 카메라의 돌출성은 웨어러블 센서로 처리할 수 있으며, 모든 웨어러블 센서를 사용하지 않는 것은 카메라 또는 주변 센서로 보완할 수 있습니다. 데이터 기반 모델의 벤치마크 측면에서 표 1의 실험은 RF가 거의 모든 실험에서 최상의 결과를 제공한다는 것을 보여주었습니다. MLP 및 SVM은 성능이 매우 일관되지 않았지만(예: 이러한 기술의 표준 편차는 RF보다 더 많은 가변성을 나타낸다). 창 크기에 대해, 이들은 그들 중 어떤 중요 한 개선을 나타내지 않았다. 이러한 실험은 가을 과 인간 활동 분류에 대 한 수행 되었다는 것을 주의 하는 것이 중요 하다. 센서 배치 및 최고의 멀티모달 조합다른 한편으로는, 우리는 낙하 감지를위한 멀티 모달 장치의 최상의 조합을 결정하는 것을 목표로했다. 이 분석을 위해 5개의 웨어러블 센서와 두 대의 카메라로 정보 소스를 제한했습니다. 이러한 장치는 접근 방식에 가장 편안한 장치입니다. 또한, 우리는 두 가지 클래스를 고려 : 가을 (가을의 모든 유형) 또는 무가림 (다른 활동). 모든 기계 학습 모델과 창 크기는 이전 분석과 동일하게 유지됩니다. 각 웨어러블 센서에 대해 각 창 길이에 대해 독립적인 분류기 모델을 구축했습니다. 70% 교육 및 30% 테스트 데이터 세트로 10배 교차 검증을 사용하여 모델을 교육했습니다. 표 2는 F1 점수를 기준으로 성능 분류기당 웨어러블 센서의 순위에 대한 결과를 요약한 것입니다. 이러한 결과는 내림차순으로 정렬되었습니다. 표 2에서볼 수 있듯이, 허리, 목 또는 단단한 오른쪽 포켓(그림자 영역)에서 단일 센서를 사용할 때 최상의 성능을 얻을 수 있습니다. 또한 발목과 왼쪽 손목 착용형 센서는 최악의 성과를 보였습니다. 표 3은 각 분류기에서 최상의 성능을 얻기 위해 웨어러블 센서당 윈도우 길이 기본 설정을 나타낸다. 결과에서 RF 분류기가 있는 허리, 목 및 단단한 오른쪽 포켓 센서와 50% 중첩된 3s 창 크기는 낙하 감지에 가장 적합한 웨어러블 센서입니다. 시스템의 각 카메라에 대해 유사한 분석을 수행했습니다. 각 창 크기에 대해 독립적인 분류기 모델을 만들었습니다. 교육을 위해 70%의 교육과 30%의 테스트 데이터 세트로 10배 의 교차 검증을 했습니다. 표 4는 F1 점수를 기준으로 분류자당 최고의 카메라 관측점의 순위를 나타낸다. 관찰된 바와 같이, 측면 도면(카메라 1)은 최상의 낙하 감지를 수행하였다. 또한 RF는 다른 분류기와 비교하여 능가했습니다. 또한 표 5는 카메라 관측점당 창 길이 기본 설정을 보여 주며, 윈도우 길이 기본 설정도를 보여 주기도 한다. 결과에서, 우리는 카메라의 가장 좋은 위치가 3 s 창 크기와 50 % 중첩RF를 사용하여 측면 관점에 있음을 발견했다. 마지막으로, 우리는 측면 관점의 카메라와 결합 할 웨어러블 센서 (즉, 허리와 꽉 오른쪽 포켓)의 두 가지 가능한 배치를 선택했다. 동일한 교육 절차 후, 우리는 표 6에서결과를 얻었다. 그림과 같이 RF 모델 분류기는 정확도면에서 최고의 성능과 F1 점수를 모두 멀티모달에서 얻었습니다. 또한, 허리와 카메라의 조합은 정확도98.72%, F1 점수 95.77%를 획득하여 1위를 차지했습니다. 그림 1: UP-Fall 감지 데이터베이스의 웨어러블(왼쪽) 및 주변(오른쪽) 센서의 레이아웃입니다. 웨어러블 센서는 이마, 왼쪽 손목, 목, 허리, 바지 오른쪽 포켓 및 왼쪽 발목에 배치됩니다. 주변 센서는 피사체의 존재를 감지하기 위해 6개의 페어링된 적외선 센서와 2대의 카메라입니다. 카메라는 인간의 추락과 관련하여 측면 과 정면 에 있습니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오. 그림 2: UP-Fall 감지 데이터베이스에서 추출된 비디오 녹화의 예입니다. 상단에는 피사체가 옆으로 떨어지는 이미지 시퀀스가 있습니다. 하단에는 추출된 비전 기능을 나타내는 일련의 이미지가 있습니다. 이러한 피쳐는 인접한 두 이미지 사이의 픽셀 의 상대적인 모션입니다. 흰색 픽셀은 더 빠른 모션을 나타내고 검정 픽셀은 더 느리거나 0에 가까운 모션을 나타냅니다. 이 시퀀스는 시간순으로 왼쪽에서 오른쪽으로 정렬됩니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오. 그림 3: 기계 학습 모델및 최상의 창 길이와 관련하여 각 양식의 최고 F1 점수를 보고하는 비교 결과. 막대는 F1 점수의 평균 값을 나타냅니다. 데이터 점의 텍스트는 괄호 안의 평균 및 표준 편차를 나타냅니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오. 형식 모델 정확도(%) 정밀도(%) 민감도(%) 특이성 (%) F1 점수 (%) Ir RF (3초) 67.38 ± 0.65 36.45 ± 2.46 31.26 ± 0.89 96.63 ± 0.07 32.16 ± 0.99 SVM (3초) 65.16 ± 0.90 26.77 ± 0.58 25.16 ± 0.29 96.31 ± 0.09 23.89 ± 0.41 MLP (3초) 65.69 ± 0.89 28.19 ± 3.56 26.40 ± 0.71 96.41 ± 0.08 25.13 ± 1.09 kNN (3초) 61.79 ± 1.47 30.04 ± 1.44 27.55 ± 0.97 96.05 ± 0.16 27.89 ± 1.13 Imu RF(1초) 95.76 ± 0.18 70.78 ± 1.53 66.91 ± 1.28 99.59 ± 0.02 68.35 ± 1.25 SVM (1초) 93.32 ± 0.23 66.16 ± 3.33 58.82 ± 1.53 99.32 ± 0.02 60.00 ± 1.34 MLP (1초) 95.48 ± 0.25 73.04 ± 1.89 69.39 ± 1.47 99.56 ± 0.02 70.31 ± 1.48 kNN (1초) 94.90 ± 0.18 69.05 ± 1.63 64.28 ± 1.57 99.50 ± 0.02 66.03 ± 1.52 IMU+EEG RF(1초) 95.92 ± 0.29 74.14 ± 1.29 66.29 ± 1.66 99.59 ± 0.03 69.03 ± 1.48 SVM (1초) 90.77 ± 0.36 62.51 ± 3.34 52.46 ± 1.19 99.03 ± 0.03 53.91 ± 1.16 MLP (1초) 93.33 ± 0.55 74.10 ± 1.61 65.32 ± 1.15 99.32 ± 0.05 68.13 ± 1.16 kNN (1초) 92.12 ± 0.31 66.86 ± 1.32 58.30 ± 1.20 98.89 ± 0.05 60.56 ± 1.02 IR+IMU+EEG RF (2초) 95.12 ± 0.36 74.63 ± 1.65 66.71 ± 1.98 99.51 ± 0.03 69.38 ± 1.72 SVM (1초) 90.59 ± 0.27 64.75 ± 3.89 52.63 ± 1.42 99.01 ± 0.02 53.94 ± 1.47 MLP (1초) 93.26 ± 0.69 73.51 ± 1.59 66.05 ± 1.11 99.31 ± 0.07 68.19 ± 1.02 kNN (1초) 92.24 ± 0.25 67.33 ± 1.94 58.11 ± 1.61 99.21 ± 0.02 60.36 ± 1.71 캠 RF (3초) 32.33 ± 0.90 14.45 ± 1.07 14.48 ± 0.82 92.91 ± 0.09 14.38 ± 0.89 SVM (2초) 34.40 ± 0.67 13.81 ± 0.22 14.30 ± 0.31 92.97 ± 0.06 13.83 ± 0.27 MLP (3초) 27.08 ± 2.03 8.59 ± 1.69 10.59 ± 0.38 92.21 ± 0.09 7.31 ± 0.82 kNN (3초) 34.03 ± 1.11 15.32 ± 0.73 15.54 ± 0.57 93.09 ± 0.11 15.19 ± 0.52 IR + 캠 RF (3초) 65.00 ± 0.65 33.93 ± 2.81 29.02 ± 0.89 96.34 ± 0.07 29.81 ± 1.16 SVM (3초) 64.07 ± 0.79 24.10 ± 0.98 24.18 ± 0.17 96.17 ± 0.07 22.38 ± 0.23 MLP (3초) 65.05 ± 0.66 28.25 ± 3.20 25.40 ± 0.51 96.29 ± 0.06 24.39 ± 0.88 kNN (3초) 60.75 ± 1.29 29.91 ± 3.95 26.25 ± 0.90 95.95 ± 0.11 26.54 ± 1.42 IMU+EEG+CAM RF(1초) 95.09 ± 0.23 75.52 ± 2.31 66.23 ± 1.11 99.50 ± 0.02 69.36 ± 1.35 SVM (1초) 91.16 ± 0.25 66.79 ± 2.79 53.82 ± 0.70 99.07 ± 0.02 55.82 ± 0.77 MLP (1초) 94.32 ± 0.31 76.78 ± 1.59 67.29 ± 1.41 99.42 ± 0.03 70.44 ± 1.25 kNN (1초) 92.06 ± 0.24 68.82 ± 1.61 58.49 ± 1.14 99.19 ± 0.02 60.51 ± 0.85 표 1: 기계 학습 모델과 최상의 창 길이(괄호)에 대해 각 양식의 최상의 성능을 보고하는 비교 결과입니다. 성능의 모든 값은 평균 과 표준 편차를 나타냅니다. # IMU 형 Rf Svm Mlp Knn 1 (98.36) 웨스트 (83.30) 오른쪽 포켓 (57.67) 오른쪽 포켓 (73.19) 오른쪽 포켓 2 (95.77) 목 (83.22) 웨스트 (44.93) 목 (68.73) 웨스트 3 (95.35) 오른쪽 포켓 (83.11) 목 (39.54) 웨스트 (65.06) 목 4 (95.06) 발목 (82.96) 발목 (39.06) 왼쪽 손목 (58.26) 발목 5 (94.66) 왼쪽 손목 (82.82) 왼쪽 손목 (37.56) 발목 (51.63) 왼쪽 손목 표 2: 분류기당 최고의 웨어러블 센서 의 순위로, F1 점수(괄호)로 정렬됩니다. 그림자의 영역은 가을 감지를 위한 상위 3개의 분류기를 나타냅니다. IMU 형 창 길이 Rf Svm Mlp Knn 왼쪽 발목 2초 3초 1초 3초 허리 3초 1초 1초 2초 목 3초 3초 2초 2초 오른쪽 포켓 3초 3초 2초 2초 왼쪽 손목 2초 2초 2초 2초 표 3: 분류기당 웨어러블 센서의 기본 시간 창 길이입니다. # 카메라 뷰 Rf Svm Mlp Knn 1 (62.27) [보기] (24.25) [보기] (13.78) 정면 전망 (41.52) [보기] 2 (55.71) 정면 전망 (0.20) 정면 도면 (5.51) [보기] (28.13) 정면 도면 표 4: 분류자당 최고의 카메라 관측점 의 순위(괄호)로 분류됩니다. 그림자의 영역은 가을 감지를 위한 최상위 분류자입니다. 카메라 창 길이 Rf Svm Mlp Knn 측면 보기 3초 3초 2초 3초 정면 보기 2초 2초 3초 2초 표 5: 분류자당 카메라 관측점에서 선호하는 시간 창 길이입니다. 복합 분류자 정확도(%) 정밀도(%) 민감도(%) F1 점수 (%) 허리+측면 보기 Rf 98.72 ± 0.35 94.01 ± 1.51 97.63 ± 1.56 95.77 ± 1.15 Svm 95.59 ± 0.40 100 70.26 ± 2.71 82.51 ± 1.85 Mlp 77.67 ± 11.04 33.73 ± 11.69 37.11 ± 26.74 29.81 ± 12.81 Knn 91.71 ± 0.61 77.90 ± 3.33 61.64 ± 3.68 68.73 ± 2.58 오른쪽 포켓+측면 보기 Rf 98.41 ± 0.49 93.64 ± 1.46 95.79 ± 2.65 94.69 ± 1.67 Svm 95.79 ± 0.58 100 71.58 ± 3.91 83.38 ± 2.64 Mlp 84.92 ± 2.98 55.70 ± 11.36 48.29 ± 25.11 45.21 ± 14.19 Knn 91.71 ± 0.58 73.63 ± 3.19 68.95 ± 2.73 71.13 ± 1.69 표 6: 3초 창 길이를 사용하여 결합된 웨어러블 센서 및 카메라 관측점의 비교 결과. 모든 값은 평균 및 표준 편차를 나타냅니다.