Basit, konforlu ve hızlı bir düşme algılama ve insan aktivitesi tanıma sistemini yapılandırmak için multimodal sensörlere dayalı bir metodoloji salıyoruz. Amaç kolayca uygulanabilir ve benimsenebilir doğru sonbahar algılama için bir sistem oluşturmaktır.
Bu makale, basit, rahat ve hızlı bir düşme algılama ve kolayca uygulanabilen ve benimsenebilecek insan aktivitesi tanıma sistemini yapılandırmak için multimodal sensörlere dayalı bir metodoloji sunmaktadır. Metodoloji, belirli sensör türlerinin, makine öğrenimi yöntemlerinin ve prosedürlerinin konfigürasyonuna dayanmaktadır. Protokol dört aşamaya ayrılmıştır: (1) veritabanı oluşturma (2) veri analizi (3) sistem basitleştirme ve (4) değerlendirme. Bu metodolojiyi kullanarak, sonbahar algılama ve insan aktivitesi tanıma, yani UP-Fall Detection için bir multimodal veritabanı oluşturduk. 3 deneme sırasında 5 tür düşme ve 6 farklı basit etkinlik gerçekleştiren 17 deneğin veri örneklerini içerir. Tüm bilgiler 5 giyilebilir sensör (üç eksenli ivmeölçer, jiroskop ve ışık yoğunluğu), 1 elektroensefalograf kaskı, ortam sensörleri olarak 6 kızılötesi sensör ve yanal ve ön görüş açılarında 2 kamera kullanılarak toplandı. Önerilen yeni metodoloji, bir sonbahar algılama sistemini basitleştirmek için aşağıdaki tasarım konularının derin bir analizini yapmak için bazı önemli aşamalar ekler: a) basit bir sonbahar algılama sisteminde hangi sensörlerin veya sensörlerin kombinasyonunun kullanılacağını seçmek, b) bilgi kaynaklarının en iyi yerleşimini belirlemek ve c) sonbahar ve insan aktivitesi algılama ve tanıma için en uygun makine öğrenimi sınıflandırma yöntemini seçmek. Literatürde bildirilen bazı multimodal yaklaşımlar sadece yukarıda bahsedilen konulardan bir veya ikisine odaklansa da, metodolojimiz aynı anda insan düşüşü ve etkinlik algılama ve tanıma sistemiile ilgili bu üç tasarım probleminin aynı anda çözülmesine olanak sağlamaktadır.
Nüfus yaşlanma dünya fenomeni beri1, sonbahar yaygınlığı artmıştır ve aslında önemli bir sağlık sorunu olarak kabul edilir2. Bir düşüş meydana geldiğinde, insanlar olumsuz sonuçları azaltmak için acil dikkat gerektirir. Güz algılama sistemleri, bir düşüş meydana geldiğinde bir uyarı göndererek bir kişinin tıbbi yardım aldığı süreyi azaltabilir.
Güz algılama sistemlerinin çeşitli kategorirasyonları vardır3. İlk çalışmalar4, düşme algılama sistemlerini algılama yöntemlerine, kabaca analitik yöntemlere ve makine öğrenimi yöntemlerine göre sınıfa sınıfa tır. Daha yakın zamanda, diğer yazarlar3,5,6 sonbahar dedektörleri sınıflandırmak için ana özelliği olarak veri toplama sensörleri kabul etmiş. Igual ve ark.3, sonbahar algılama sistemlerini görüş ve ortam sensörü tabanlı yaklaşımları ve giyilebilir cihaz sistemlerini içeren bağlam duyarlı sistemlere böler. Mubashir ve ark.5, veri toplamada kullanılan cihazlara göre düşme dedektörlerini üç gruba ayırır: giyilebilir cihazlar, ortam sensörleri ve görme tabanlı cihazlar. Perry ve ark.6, ivmeyi ölçme yöntemlerini, ivmeyi ölçme yöntemlerini diğer yöntemlerle birlikte ve ivmeyi ölçmeme yöntemlerini dikkate alır. Bu anketlerden, sensörlerin ve yöntemlerin genel araştırma stratejisini sınıflandırmanın temel unsurları olduğunu belirleyebiliriz.
Sensörlerin her biri Xu ve ark.7’detartışılan zayıf lıklara ve güçlü yönlere sahiptir. Görme tabanlı yaklaşımlar ağırlıklı olarak normal kameralar, derinlik sensörü kameralar ve / veya hareket yakalama sistemleri kullanın. Normal web kameraları düşük maliyetli ve kullanımı kolay, ancak çevre koşullarına duyarlı (ışık değişimi, tıkanıklık, vb), sadece azaltılmış bir alanda kullanılabilir ve gizlilik sorunları var. Kinect gibi derinlik kameraları, tam vücut 3D hareket7 sağlar ve normal kameralara göre ışık koşullarından daha az etkilenir. Ancak, Kinect dayalı yaklaşımlar olarak sağlam ve güvenilir değildir. Hareket yakalama sistemleri daha pahalı ve kullanımı zor.
Dahili ivmeölçerlere sahip ivmeölçer cihazlara ve akıllı telefonlara/saatlere dayalı yaklaşımlar, düşme algılamaiçin çok yaygın olarak kullanılır. Bu cihazların en büyük dezavantajı uzun süre giyilmesi gerektiğidir. Rahatsızlık, obtrusiveness, vücut yerleştirme ve oryantasyon bu yaklaşımlar da çözülmesi gereken tasarım sorunları vardır. Akıllı telefonlar ve akıllı saatler sensörleri daha az rahatsız edici cihazlar olmasına rağmen, yaşlı insanlar genellikle unutmak ya da her zaman bu cihazları giymek yok. Bununla birlikte, bu sensörler ve cihazların avantajı birçok oda ve / veya açık havada kullanılabilir olmasıdır.
Bazı sistemler düşmeleri/aktiviteleri tanımak için çevreye yerleştirilen sensörleri kullanır, böylece insanlar sensörleri takmak zorunda kalmaz. Ancak, bu sensörler de 8konuşlandırılan ve bazen yüklemek zor yerler ile sınırlıdır. Son zamanlarda, multimodal düşme algılama sistemleri daha fazla hassasiyet ve sağlamlık elde etmek için farklı görüş, giyilebilir ve ortam sensörleri kombinasyonları içerir. Ayrıca bazı tek sensör sınırlamalarının üstesinden gelebilirler.
Sonbahar algılamaiçin kullanılan metodoloji, veri toplama, sinyal önişleme ve segmentasyon, özellik çıkarma ve seçme, eğitim ve sınıflandırma aşamalarından oluşan Bulling ve ark.9tarafından sunulan insan aktivitesi tanıma zinciri (ARC) ile yakından ilişkilidir. Bu aşamaların her biri için tasarım sorunları çözülmelidir. Her aşamada farklı yöntemler kullanılır.
Basit, rahat ve hızlı insan düşüşünü ve insan aktivitesi algılama/tanıma sistemini yapılandırmak için multimodal sensörlere dayalı bir metodoloji salıyoruz. Amaç kolayca uygulanabilir ve benimsenebilir doğru sonbahar algılama için bir sistem oluşturmaktır. Önerilen yeni metodoloji ARC’a dayanmaktadır, ancak sistemi basitleştirmek için aşağıdaki konuların derin bir analizini yapmak için bazı önemli aşamalar ekler: (a) basit bir düşme algılama sisteminde hangi sensörlerin veya sensörlerin kombinasyonunun kullanılacağını seçin; (b) bilgi kaynaklarının en iyi yerleşimini belirlemek; ve (c) basit bir sistem oluşturmak için sonbahar algılama ve insan aktivitesi tanıma için en uygun makine öğrenimi sınıflandırma yöntemini seçin.
Literatürde yukarıda bahsedilen tasarım konularından bir ya da ikisini ele alan ilgili çalışmalar vardır, ancak bizim bilgimize göre, tüm bu sorunların üstesinden gelmek için bir metodolojiye odaklanan bir çalışma yoktur.
İlgili çalışmalar, sağlamlık kazanmak ve hassasiyeti artırmak için sonbahar algılama ve insan aktivitesi tanıma10,11,12 için multimodal yaklaşımlar kullanır. Kwolek ve ark.10, ivmeometrik verilere ve derinlik haritalarına dayalı bir sonbahar algılama sisteminin tasarlanmasını ve uygulanmasını önermiştir. Onlar üç eksenli ivmeölçer potansiyel bir düşüş yanı sıra kişinin hareket tespit etmek için uygulanan ilginç bir metodoloji tasarlanmıştır. Hızlanma ölçüsü bir eşiği aşarsa, algoritma bir kişinin derinlik haritasını çevrimiçi güncelleştirilmiş derinlik başvuru haritasından farklı olarak ayıklar. Bir destek vektör makine sınıflandırıcıkullanılarak derinlik ve ivmeölçer kombinasyonlarının analizi yapıldı.
Ofli ve ark.11, yeni insan aktivitesi tanıma sistemleri için bir test yatağı sağlamak amacıyla bir Multimodal Human Action Database (MHAD) sunmuştur. Eylemler 1 optik hareket yakalama sistemi, 4 çok görüntü kamera, 1 Kinect sistemi, 4 mikrofon ve 6 kablosuz ivmeölçer kullanılarak aynı anda toplandığı için veri seti önemlidir. Yazarlar her modalite için sonuçlar sundu: Kinect, mocap, ivmeölçer, ve ses.
Dovgan ve ark.12 yaşlılarda düşme de dahil olmak üzere anormal davranışları tespit etmek için bir prototip önerdi. Düşme ve olağandışı davranış tespiti için en uygun ekipmanı bulmak için üç sensör sistemi için testler tasarladılar. İlk deney, kalçalara, dizlere, ayak bileklerine, bileklerine, dirseklerine ve omuzlara bağlı 12 etiketli akıllı sensör sisteminden elde edilen verilerden oluşuyor. Ayrıca bel, göğüs ve her iki ayak bileği bağlı dört etiketleri ile bir Ubisense sensör sistemi kullanarak bir test veri seti oluşturdu, ve bir Xsens ivmeölçer. Üçüncü bir deneyde, dört denek sadece Ubisense sistemini kullanırken 4 tür düşme, 4 sağlık problemi anormal davranış ve günlük yaşam (ADL) farklı aktivite olarak gerçekleştirir.
Literatürde diğer çalışmalar13,14,15 çeşitli sınıflandırıcılar ile sensörlerçeşitli kombinasyonları performansını karşılaştırarak sonbahar algılama için sensörler veya cihazların en iyi yerleşim bulma sorunu ele. Santoyo ve ark.13, 5 sensörün yerin güz tespiti için önemini değerlendiren sistematik bir değerlendirme sundu. Bu sensör kombinasyonlarının performansını k-en yakın komşular (KNN), destek vektör makineleri (SVM), saf Bayes (NB) ve karar ağacı (DT) sınıflandırıcıları kullanarak karşılaştırdılar. Onlar konu sensörü konumu kullanılan sınıflandırıcı bağımsız güz dedektörü performansı üzerinde önemli bir etkisi olduğu sonucuna varMıştır.
Düşme tespiti için vücuda giyilebilir sensör yerleşimlerinin karşılaştırılması Özdemir14tarafından sunulmuştur. Sensör yerleşimini belirlemek için, yazar aşağıdaki pozisyonların 31 sensör kombinasyonunu analiz etti: baş, bel, göğüs, sağ bilek, sağ ayak bileği ve sağ uyluk. 14 gönüllü 20 simüle düşme ve 16 ADL gerçekleştirdi. O en iyi performans tek bir sensör bu kapsamlı kombinasyon deneyleri bel üzerinde konumlandırılmış elde edildi bulundu. Bir diğer karşılaştırma da Özdemir’in veri seti kullanılarak Ntanasis15 tarafından sunulmuştur. J48, KNN, RF, rastgele komite (RC) ve SVM: Yazarlar aşağıdaki sınıflandırıcılar kullanarak baş, göğüs, bel, bilek, ayak bileği, ayak bileği ve uyluk tek pozisyonları karşılaştırıldı.
Sonbahar tespiti için farklı hesaplama yöntemlerinin performans kriterleri deliteratürdebulunabilir 16,17,18. Bagala ve ark.16, reel düşüşler üzerinde test edilen on üç düşme algılama yönteminin performansını kıyaslamak için sistematik bir karşılaştırma sundu. Onlar sadece bel veya gövde yerleştirilen ivmeölçer ölçümleri dayalı algoritmalar kabul. Bourke ve ark.17, adc’ların bir veri kümesini kullanarak düşüş algılama için beş analitik algoritmanın performansını değerlendirdi ve ivmeölçer okumalarına dayalı olarak düştü. Kerdegari18 de kaydedilen ivme verileri bir dizi için farklı sınıflandırma modellerinin performansı nın bir karşılaştırma yaptı. Sonbahar algılamaiçin kullanılan algoritmalar zeroR, oneR, NB, DT, çok katmanlı perceptron ve SVM idi.
Alazrai ve ark.18 tarafından insan aktivitesinin birikmiş histogram tabanlı temsilini oluşturmak için hareket pozu geometrik tanımlayıcı kullanılarak sonbahar algılama metodolojisi önerilmiştir. Çerçeveyi Kinect sensörleri ile toplanan bir veri kümesi ni kullanarak değerlendirdiler.
Özetle, multimodal sonbahar algılama ile ilgili eserler bulundu10,11,12 yöntemleri farklı kombinasyonları performansını karşılaştırın. Bazı yazarlarsensörler13,14,,15,veya sensörler13 kombinasyonları çeşitli sınıflandırıcılar13,15,,16 aynı modalite ve ivmeölçerbirden fazla sensörler ile en iyi yerleşim bulma sorunu ele. Literatürde adres yerleştirme, multimodal kombinasyonlar ve sınıflandırıcı kıyaslama ile aynı anda herhangi bir çalışma bulunamadı.
Bir veri kümesi oluşturulduğunda eşitleme, kuruluş ve veri tutarsızlık sorunları20 nedeniyle zorluklarla karşılaşmak yaygındır.
Eşitleme
Veri elde inde, birden fazla sensörün genellikle farklı örnekleme hızlarında çalıştığı göz önüne alındığında senkronizasyon sorunları ortaya çıkar. Daha yüksek frekanslara sahip sensörler, daha düşük frekanslara sahip olanlardan daha fazla veri toplar. Bu nedenle, farklı kaynaklardan gelen veriler doğru eşleşmez. Sensörler aynı örnekleme hızlarında çalışmasına rağmen, verilerin hizalanmaması mümkündür. Bu bağlamda, aşağıdaki öneriler bu senkronizasyon sorunları20: (i) kayıt zaman damgası, konu, etkinlik ve deneme sensörleri elde edilen her veri örneğinde ele almak için yardımcı olabilir; (ii) en tutarlı ve daha az sıklıkta bilgi kaynağı senkronizasyon için referans sinyali olarak kullanılmalıdır; ve (iii) manuel denetimin pratik olmadığı video kayıtlarını senkronize etmek için otomatik veya yarı otomatik yordamlar kullanın.
Veri ön işleme
Veri ön işleme de yapılmalıdır ve kritik kararlar bu süreci etkilemelidir: (a) birden fazla ve heterojen kaynakların veri depolama ve veri gösterimi yöntemlerini belirlemek (b) yerel ana bilgisayarda veya bulutta veri depolamanın yollarını belirler (c) dosya adları ve klasörleri (d) verilerin eksik değerlerini ve sensörlerde bulunan fazlalıkları da dahil olmak üzere veri organizasyonunu seçin , diğerleri arasında. Buna ek olarak, veri bulutu için, yükleme zamanında veri kaybını azaltmak için mümkün olduğunda yerel arabelleğe alma önerilir.
Veri tutarsızlığı
Veri tutarsızlığı, veri örneklem boyutlarındaki varyasyonları bulan denemeler arasında yaygındır. Bu sorunlar giyilebilir sensörlerde veri toplama ile ilgilidir. Birden çok sensörden veri toplama ve veri çarpışmasının kısa süreli kesintileri veri tutarsızlıklarına yol açar. Bu gibi durumlarda, tutarsızlık algılama algoritmaları sensörlerde çevrimiçi hataları işlemek için önemlidir. Deneme boyunca kablosuz tabanlı aygıtların sık sık izlenmesi gerektiğini vurgulamak önemlidir. Düşük pil bağlantıyı etkileyebilir ve veri kaybına neden olabilir.
Etik
İnsanların dahil olduğu her türlü deneyde katılım onayı ve etik onayı zorunludur.
Bu metodolojinin sınırlamaları ile ilgili olarak, veri toplama için farklı yöntemler göz önünde bulundurarak yaklaşımlar için tasarlanmış olduğunu fark etmek önemlidir. Sistemler giyilebilir, ortam ve/veya görüş sensörleri içerebilir. Tüm sistemdeki veri toplama kaybı, azalan bağlantı ve güç tüketimi gibi sorunlar nedeniyle cihazların güç tüketimini ve kablosuz tabanlı sensörlerdeki pillerin kullanım ömrünü göz önünde bulundurmanız önerilir. Ayrıca, bu metodoloji makine öğrenme yöntemleri ni kullanan sistemler için tasarlanmıştır. Bu makine öğrenme modellerinin seçiminin analizi önceden yapılmalıdır. Bu modellerin bazıları doğru olabilir, ama son derece zaman ve enerji alıcı. Makine öğrenimi modellerinde bilgisayar kullanımı için doğru tahmin ve sınırlı kaynak kullanılabilirliği arasındaki bir denge göz önünde bulundurulmalıdır. Ayrıca, sistemin veri toplama, faaliyetlerin aynı sırada yürütüldüğünü gözlemlemek önemlidir; Ayrıca, denemeler aynı sırayla yapıldı. Güvenlik nedenlerinden dolayı, deneklerin üzerine düşmesi için koruyucu bir yatak kullanılmıştır. Buna ek olarak, düşme kendi kendine başlatıldı. Bu genellikle sert malzemelere doğru meydana simüle ve gerçek düşme, arasında önemli bir farktır. Bu anlamda, kaydedilen bu dataset düşmemeye çalışan sezgisel bir tepki ile düşüyor. Ayrıca, yaşlı veya engelli insanlarda gerçek düşmeler arasında bazı farklılıklar vardır ve simülasyon düşer; ve bunlar yeni bir sonbahar algılama sistemi tasarlarken dikkate alınmalıdır. Bu çalışma herhangi bir bozukluğu olmayan gençlere odaklanmıştır, ancak deneklerin seçiminin sistemin amacına ve onu kullanacak hedef nüfusa uygun olması gerektiği dikkat çekicidir.
Yukarıda açıklanan ilgili çalışmalardan10,11,12,13,14,15,16,17,18, biz sağlam sonbahar dedektörleri elde veya yerleştirme veya sınıflandırıcı performans odaklanmak odaklanan multimodal yaklaşımlar kullanan yazarlar olduğunu gözlemleyebilirsiniz. Bu nedenle, sadece bir veya iki sonbahar algılama için tasarım sorunları adresi. Metodolojimiz, bir düşme algılama sisteminin temel tasarım problemlerinden üçünüaynı anda çözmenizi sağlar.
Gelecekteki çalışmalarımız için, bu metodoloji den sonra elde edilen bulgulara dayalı basit bir multimodal düşme algılama sistemi tasarlamanızı ve uygulamanızı öneririz. Gerçek dünya benimsenmesi için, transfer öğrenimi, hiyerarşik sınıflandırma ve derin öğrenme yaklaşımları daha sağlam sistemler geliştirmek için kullanılmalıdır. Uygulamamız makine öğrenimi modellerinin nitel ölçümlerini dikkate almamış, ancak insan düşüşü ve faaliyet algılama/tanıma sistemlerinin daha da geliştirilmesi için gerçek zamanlı ve sınırlı bilgi işlem kaynaklarının dikkate alınması gerekmektedir. Son olarak, veri setimizi geliştirmek için, tripping veya neredeyse düşen faaliyetleri ve gönüllülerin günlük yaşamları boyunca gerçek zamanlı izleme düşünülebilir.
The authors have nothing to disclose.
Bu araştırma Universidad Panamericana tarafından UP-CI-2018-ING-MX-04 proje kodu kapsamında “Fomento a la Investigación UP 2018” hibesi ile finanse edilmiştir.
Inertial measurement wearable sensor | Mbientlab | MTH-MetaTracker | Tri-axial accelerometer, tri-axial gyroscope and light intensity wearable sensor. |
Electroencephalograph brain sensor helmet MindWave | NeuroSky | 80027-007 | Raw brainwave signal with one forehand sensor. |
LifeCam Cinema video camera | Microsoft | H5D-00002 | 2D RGB camera with USB cable interface. |
Infrared sensor | Alean | ABT-60 | Proximity sensor with normally closed relay. |
Bluetooth dongle | Mbientlab | BLE | Dongle for Bluetooth connection between the wearable sensors and a computer. |
Raspberry Pi | Raspberry | Version 3 Model B | Microcontroller for infrared sensor acquisition and computer interface. |
Personal computer | Dell | Intel Xeon E5-2630 v4 @2.20 GHz, RAM 32GB |