Koku Kaynağı Lokalizasyonu için Silkmoth Anteni Kullanan Elektroantenografi Tabanlı Biyo-hibrid Koku Tespit Drone
Summary
Bu çalışma, silkmoth antenlerine dayanan biyo-hibrit koku tespit eden bir drone için deneysel protokoller sönmektedir. Spiral-surge algoritması kullanılarak koku kaynağı lokalizasyonu için tasarlanmış bir biyo-hibrid drone’un yapısına ek olarak, silkmoth antenli deneysel bir elektroantennogram cihazının çalışması sunulmaktadır.
Abstract
Havadaki koku moleküllerini tespit edebilen kimyasal veya biyosensör cihazlara sahip küçük drone’lar, çevre ve güvenlik izleme ve arama-kurtarma operasyonlarındaki uygulanabilirlikleri nedeniyle önemli ölçüde dikkat çekmiştir. Koku kaynağı lokalizasyonu için ticari metal-oksit-yarı iletken (MOX) gaz sensörlerine sahip küçük dronlar geliştirilmiştir; ancak, gerçek zamanlı koku algılama performansları yetersiz kalmıştır. Bununla birlikte, böcek koku sistemlerine dayanan biyosensörleme teknolojileri, ticari MOX gaz sensörlerine kıyasla koku moleküllerine göre nispeten yüksek hassasiyet, seçicilik ve gerçek zamanlı yanıt sergiler. Bu tür cihazlarda, ekscised böcek antenleri taşınabilir kokulu biyosensör elemanları olarak işlev görür ve mükemmel algılama performansı sağladığı bulunmuştur. Bu çalışma, silkmoth antenlerini içeren monte edilebilir bir elektroantenografi (EAG) cihazına dayanan küçük bir otonom biyo-hibrid drone kullanarak havada koku-molekül tespiti için deneysel protokoller sönmektedir.
Wi-Fi modülüne sahip parçaları algılama/işleme dahil olmak üzere monte edilebilir bir EAG cihazı geliştirdik. Cihaz, sensör doğrudanlığını artırmak için basit bir sensör muhafazası ile donatılmıştır. Böylece, koku kaynağı lokalizasyonu, rüzgar yönünü kabul etmeyen spiral dalgalanma algoritması kullanılarak gerçekleştirildi. Deneysel biyo-hibrid koku tespit eden drone, sözde açık bir ortamda (bir rüzgar tünelinin dışında) gerçek zamanlı koku konsantrasyonu farklılıklarını tanımladı ve kaynağı yerelleştirdi. Geliştirilen drone ve ilgili sistem, yüksek programlanabilirliği sayesinde verimli bir koku molekül tespit aracı ve koku kaynağı yerelleştirme algoritmaları geliştirmek için uygun bir uçuş platformu olarak hizmet edebilir.
Introduction
Son gelişmelerle birlikte, kimyasal algılama cihazlarına sahip küçük dronlar çevre ve güvenlik izleme ve gaz sızıntısı tespitinde son derece uygulanabilir hale gelmiştir1. Ticari metal-oksit-yarı iletken (MOX) gaz sensörlerine sahip küçük dronlar (< yaklaşık 20 cm çapında) koku haritalama veya koku kaynağı lokalizasyonu2,3,4yapmak için yakın zamanda uygulanmıştır. Koku kaynaklarını ararken, bir drone koku tüylerini izlemelidir; bununla birlikte, küçük dronlar kullanılarak koku kaynağı yerelleştirme önemli zorluklar ortaya koyuyor. Açık bir ortamda, koku tüyü yapılar rüzgar veya peyzaj gibi çevresel faktörler nedeniyle sürekli değişikliklere maruz kalır. Bu nedenle, dronlar zaman içinde değişen koku konsantrasyonu farklılıklarını ve yönlerini belirleyebilmelidir; bununla birlikte, ticari MOX sensörlerinin koku algılama performansı, yavaş geri kazanım süreleri nedeniyle gerçek zamanlı algılama için halayetersizdir 5.
Biyolojik ve yapay sistemlerin birleştirilmesiyle oluşan biyo-hibrit sistemler, robotik ve sensör teknolojilerinde yeni birtrenddir 6, mevcut yaklaşımların yeteneklerini aşmak için büyük bir potansiyel gösterir. Örneğin, afet durumlarında uygulama için hamamböceği bazlı bir biyo-robotik sensör ağı geliştirilmiştir7. Hesaplamalı olarak gelişmiş zekaya sahip cyborg sıçanlarının labirentleri çözmekle görevlendirildiği deneyler yapılmıştır8. Biyomimetik robotların gerçek zebra balıkları gruplarına sosyal entegrasyon olasılığı araştırılmıştır9.
Doğal olarak, bu eğilim koku sensörleri geliştirmek için uygulanmıştır10. Örneğin, böcek koku sistemlerine dayanan biyosensörler, mevcut MOX sensörlerine kıyasla çeşitli koku moleküllerine göre nispeten yüksek hassasiyete ve seçiciliğe sahiptir11. Bu hatlar boyunca, daha önce böcek koku reseptörlerini ifade eden böcek hücrelerinin ve bir mikroskop veya elektronik cihazların bir kombinasyonuna dayanan biyo-hibrid koku verici biyosensör sistemleri geliştirmiştik12,13,14,15,16. Ayrıca, böcek antenleri, elektroantenografi (EAG) tekniği17 , 18,19kullanılarak, yüksek hassasiyet, seçicilik, tekrarlanabilirlik ve hızlı yanıt / geri kazanım süresine sahip taşınabilir koku algılama parçaları olarak bağımsız olarak kullanılabilir. Böcekantenleri20, 21, 22,23 veya EAG cihazlarına sahip küçük dronlara dayanan EAG tekniklerine sahip birkaç yer mobil koku algılama robotu24,25 koku algılama ve koku kaynağı lokalizasyonu için geliştirilmiştir. Bu robotlar sensör hassasiyeti ve gerçek zamanlı algılama yeteneği sergiledi. Bununla birlikte, yer mobil robotlarının hareketliliği kara özelliklerinden veya engellerden önemli ölçüde etkilenir. Buna ek olarak, mevcut EAG tabanlı biyo-hibrid drone’ların uçuş performansı ve koku kaynağı yerelleştirme algoritmaları sınırlı kalır, çünkü deneysel koşullar bağlı uçuş24 veya küçük bir rüzgar tünelinde yapılmasıyla sınırlıdır25.
Bu çalışma, silkmoth (Bombyx mori) antenlerine dayanan yakın zamanda geliştirilen bir biyo-hibrid drone kullanarak havada koku tespiti ve koku kaynağı lokalizasyonu için deneysel protokoller sunun. Silkmoth antenlerinin koku tepkilerini tespit etmek için kablosuz iletişim işlevine sahip monte edilebilir boyutlu ve hafif bir EAG cihazı geliştirdik. EAG cihazı, koku molekülleri için sensör doğrudanlığını artırmak ve gürültüyü azaltmak için basit bir sensör muhafazasına monte edilmiş küçük bir drone’a monte edildi. Biyo-hibrid drone, havadaki koku moleküllerini tekrar tekrar tespit etti ve spiral hareketler sırasında maksimum koku konsantrasyonu belirledi. Ayrıca, drone rüzgar yönü bilgisi olmadan spiral dalgalanma algoritmasını kullanarak koku kaynağını yerelleştirdi.
Protocol
Representative Results
Discussion
EAG cihazlarına sahip mobil robotlar ilk olarak 25 yıl önce geliştirildi20. O zamandan beri, dronlar da dahil olmak üzere robot teknolojilerinde önemli gelişmeler oldu. Bu teknolojik gelişmeleri göz önünde bulundurarak, hava26’dakoku tespiti ve lokalizasyonu için bir silkmoth antene dayanan bir EAG cihazına sahip otonom bir biyo-hibrid drone geliştirdik. Bu çalışma, geliştirilen biyo-hibrid drone’un çalışmasını ve drone kullanılarak bir odadaki kokuların manuel olarak uyarılmasının izlenmesini göstermektedir.
Bu çalışmada, silkmoth antenleri elektriksel iletken jel kullanılarak elektrotlara tutturulduğu için, masa veya drone’daki EAG deneylerine başlamadan önce her antenin her iki ucunun da elektrotlarla güvenli bir şekilde temas ettiğini doğruladık. Deney sırasında EAG cihazından gelen sinyaller aniden kaybolursa, bir araştırmacı önce antenin elektrotlarla bağlantısını kontrol eder. Bu sorunun drone üzerindeki EAG deneylerinde daha yüksek bir olasılıkla meydana gelmiş olması mümkündür. İzole silkmoth antenlerinin ömrü bir saatten fazla olsa da, jel bu çalışmada bir düzine ila onlarca dakika içinde kuruduğu için, antenlerin ve elektrotların bağlantı noktalarına jel eklenmesi sinyal yoğunluklarının geri kazanılmış olmasına yardımcı olabilir.
Bu çalışmadaki drone, uçuş stabilizasyonu için bir kamera ve kızılötesi sensörden oluşan VPS ile donatılmıştır. Drone’un pürüzsüz bir zeminde gezinirken sürüklendiğini ve bunun da drone’un gövdesinin altındaki kızılötesi sensörün kararsızlığına neden olabileceğini gördük. Aynı sorun bazen bu drone kullanılarak fayans gibi pürüzsüz bir zemine sahip bir odada deneyler yapılırken ortaya çıktı. Bu nedenle zemini yükseltilmiş halılarla kapladık (45 cm × 45 cm’lik dört renkli halılar kullandık) ve drone’un sürüklenmesini azalttık. Bu işlemin drone üzerindeki EAG deneylerinin uçuş stabilizasyonu için yararlı olduğu bulunmuştur.
Biyo-hibrid drone’un bu çalışmadaki önemi, koku konsantrasyonunu tanıma yeteneğinde ve koku kaynaklarına karşı sensör doğrudanlığında yatmaktadır. Drone, bir rüzgar tünelinin dışında gerçek zamanlı koku konsantrasyonu farklılıklarını tanımladı ve spiral dalgalanma algoritmasını kullanarak kaynağı yerelleştirdi (Şekil 8). Spiral dalgalanma algoritması29,30, tüy reasquisition sırasında tüy konum bilgisi gerektirmez ve düşük hızlı laminar akışta döküm algoritmasına kıyasla nispeten yüksek güvenilirliğini gösterir30. Bu algoritma daha önce bir yer mobil robotu30üzerine kuruldu; ancak, rüzgar yönünü tanımak için bir rüzgar yönü sensörü gerekliydi. Koku bilgisi binarize edildi ve konsantrasyon göz ardı edildi.
Böcek anteni tabanlı drone için, rüzgar sensörleri gibi ek sensörlerin montesi, yük ve pil tüketimi arasında bir takastır. Buna ek olarak, EAG tarafından drone’da tespit edilen koku bilgileri, bir eşiği aşıp aşmadığını belirlemek için hala değerlendirildi25. Bu çalışmada kullanılan biyo-hibrit drone tasarımı, EAG cihazının kendisinin doğrudanlığını artırdı ve rüzgar yönü sensörü gerektirmedi. Sensör doğrudanlığı, drone’un rüzgar tünelinden daha karmaşık bir oda ortamında spiral hareketler sırasında koku konsantrasyonu bilgilerini kullanmasını sağladı. Bu çalışmada silindirik bir muhafaza kullanılmıştır; ancak, gelecekte daha ayrıntılı ve hafif bir muhafaza geliştirilmelidir.
Ancak bu çalışmada incelenen biyo-hibrit drone’un bazı sınırlamaları bulunmaktadır. Örneğin, koku kaynağı yerelleştirme mesafesi hala sınırlıydı. Yüksek hareketlilikleri nedeniyle, dronlar birkaç on metre sırasına göre uzun mesafelerde koku arama yeteneğine sahip olmalıdır. Bununla birlikte, böcek anteni tabanlı biyo-hibrid drone’un elde ettiği mesafe 2 m26ile sınırlıydı ve koku kaynağı yerelleştirme testleri sınırlı alana sahip bir rüzgar tünelindeyapıldı 25. Arama mesafesinin uzatılması, pratik bir koku tespit eden uçuş platformunun geliştirilmesi için gereklidir.
Uzun mesafeli aramalar için (10 m’nin üzerinde), koku konsantrasyonunun seyreltilmesi ve koku tüylerinin karmaşık dağılımının beklendiği göz önüne alındığında, yüksek sensör doğrudanlığı ve verimli bir koku kaynağı yerelleştirme algoritması gereklidir. Aynı böceğin iki antenini kullanarak stereo algılama yönlülüğü artırabilir23. Ticari gaz sensörlerine sahip küçük drone’lar kullanılarak yapılan koku kaynağı yerelleştirme deneylerinin çoğu tek bir sensör kullanılarak gerçekleştirildi ve drone’lar üzerinde bir EAG cihaz dizisi yürütülmedi. Bu nedenle, küçük dronların koku algılama-uygulama potansiyellerini artırmaları için bir EAG cihaz dizisi geliştirilmelidir. EAG cihaz dizisi, bir koku tüyün daha hassas lokalizasyonuna izin verdiği için verimli bir koku kaynağı yerelleştirme algoritmasının geliştirilmesini de kolaylaştıracaktır.
Böcek anteni tabanlı biyo-hibrid koku tespit eden dronlar hem temel hem de uygulamalı araştırmalara katkıda bulunur. Temel araştırmalar açısından bakıldığında, bu tür dronlar koku kaynağı yerelleştirme algoritmaları geliştirmek için test platformları olarak kullanılabilir. Çeşitli algoritmalar daha önce önerilmiştir31; ancak iki boyutlu koku aramaları veya ticari gaz sensörleri yapan bir mobil robot kullanan test platformları sınırlı performans sergilemiştir. Bu kurulumlarda, önerilen algoritmaların performanslarını göstermesi zordur. Bu çalışmadaki biyo-hibrid drone, koku konsantrasyonu tanıma yeteneğinin yanı sıra sensör doğrudanlığı, hassasiyet ve seçiciliği göstermiştir. Bu nedenle, daha gelişmiş veya üç boyutlu koku kaynağı yerelleştirme algoritmalarında kurulum için büyük umut vaat ediyor.
Uygulamalar açısından biyo-hibrit drone’lar, zehirli kimyasal/biyolojik sızıntıları, patlayıcı maddeleri tespit etmek, arama-kurtarma operasyonları gibi canlı hayvanların yaklaşmakta güçlük çekebilirleri görevlere konuşlandırılabilir. Bu tür dronları bu görevlere uygulamak için, böcek antenlerinin hedef koku kaynaklarına dahil edilen koku moleküllerini tespit etmesi gerekir. Silkmoth antenleri, dişi silkmoth seks feromonu dışındaki koku moleküllerini tespit etme potansiyeline sahip olacak şekilde genetik olarak32 olarak değiştirilebilir; böylece, bu uygulamalar artık gerçeğe dönüşüyor.
Disclosures
The authors have nothing to disclose.
Acknowledgements
Bu çalışma kısmen Murata Bilim Vakfı’nın bir araştırma hibesi ile desteklendi. Yazarlar, drone platformlarının ve programlamanın geliştirilmesine yardımcı olduğu için Smart Robotics Co., Ltd., Tokyo, Japonya ve elektronik devrelerin tasarımına yardımcı olduğu için Assist Technology Co., Ltd., Osaka, Japonya’yı kabul etmek istiyor. Yazarlar ayrıca Dr. Shigeru Matsuyama’ya (Tsukuba Üniversitesi Yaşam ve Çevre Bilimleri Enstitüsü) saflaştırılmış bombykol sağladığı için teşekkür eder; İpekmoth yetiştiriciliğine destek için Takuya Nakajo (RCAST, Tokyo Üniversitesi); ve Bay Yusuke Notomi (Tokyo Bilim Üniversitesi Bilim ve Teknoloji Enstitüsü) silkmoth görüntülerinin edinimini desteklediği için.
Materials
| Anemometer | MK Scientific, Kanagawa, Japan | DT-8880 | |
| Circulator | IRIS OHYAMA Inc., Miyagi, Japan | PCF-SC15T | |
| Compact air pump | AS ONE Corporation, Osaka, Japan | NUP-1 | |
| Drone | Shenzhen Ryze Tech Co., Ltd. | Tello EDU | Ryze Tech opens Tello EDU SDK. Our source code is based on SDK 2.0 Use Guide. https://dl-cdn.ryzerobotics.com/downloads/Tello/Tello%20SDK%202.0%20User%20Guide.pdf You can download python code (Tello3.py.) and develop flight programs. |
| EAG device | Custom made | The EAG device has custom software to measure signals and communicate with the PC. | |
| Electrically conductive gel | Parker Laboratories, NJ, USA | Spectra 360 | |
| Ethanol | FUJIFILM Wako Pure Chemical Corporation, Ltd., Osaka, Japan | 057-00456 | |
| Flowmeter | KOFLOC, Kyoto, Japan | RK1600R-12-B-Air-20 | |
| Gas sensor | Sensirion AG, Stäfa, Switzerland | SGP30 | SGP30 breakout board can be used. You can refer the Adafruit_SGP30 github library. https://github.com/adafruit/Adafruit_SGP30 |
| High-sealed storage bottle | FUJIFILM Wako Pure Chemical Corporation, Ltd., Osaka, Japan | 290-35731 | |
| Microcontroller | M5Stack, Shenzhen, China | M5StickC | |
| Purebred silkworm diet | Nosan Corporation Life Tech Department, Kanagawa, Japan | Sausage type | |
| Silkmoth | Ueda-sansyu, Nagano, Japan | a hybrid strain of Kinshu × Showa | |
| Solenoid valve | Takasago Electric, Inc., Nagoya, Japan | YDV-3-1/8 | |
| Wi-Fi access point | Yamaha Corporation, Shizuoka, Japan | WLX313 |
References
- Burgués, J., Marco, S. Environmental chemical sensing using small drones: A review. Science of the Total Environment. 748, 141172 (2020).
- Ercolani, C., Martinoli, A. 3D odor source localization using a micro aerial vehicle: system design and performance evaluation. 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). , 6194-6200 (2020).
- Neumann, P. P., et al. Indoor air quality monitoring using flying nanobots: design and experimental study. IEEE International Symposium on Olfaction and Electronic Nose (ISOEN). , 1-3 (2019).
- Burgués, J., Hernández, V., Lilienthal, A. J., Marco, S. Smelling nano aerial vehicle for gas source localization and mapping. Sensors. 19 (3), 478 (2019).
- Shigaki, S., Okajima, K., Sanada, K., Kurabayashi, D. Experimental analysis of the influence of olfactory property on chemical plume tracing performance. IEEE Robotics and Automation Letters. 4 (3), 2847-2853 (2019).
- Romano, D., Donati, E., Benelli, G., Stefanini, C. A review on animal-robot interaction: from bio-hybrid organisms to mixed societies. Biological Cybernetics. 113, 201-225 (2019).
- Bozkurt, A., Lobaton, E., Sichitiu, M. A biobotic distributed sensor network for under-rubble search and rescue. Computer. 49 (5), 38-46 (2016).
- Yu, Y., et al. Intelligence-augmented rat cyborgs in maze solving. PLoS One. 11 (2), 0147754 (2016).
- Cazenille, L., et al. How mimetic should a robotic fish be to socially integrate into zebrafish groups. Bioinspiration & Biomimetics. 13, 025001 (2018).
- Sankaran, S., Khot, L. R., Panigrahi, S. Biology and applications of olfactory sensing system: A review. Sensors and Actuators B: Chemical. 171-172, 1-17 (2012).
- Bohbot, J. D., Vernick, S. The emergence of insect odorant receptor-based biosensors. Biosensors. 10 (3), 26 (2020).
- Terutsuki, D., et al. Increasing cell-device adherence using cultured insect cells for receptor-based biosensors. Royal Society Open Science. 5 (3), 172366 (2018).
- Terutsuki, D., Mitsuno, H., Kanzaki, R. 3D-printed bubble-free perfusion cartridge system for live-cell imaging. Sensors. 20 (20), 5779 (2020).
- Terutsuki, D., et al. Highly effective volatile organic compound dissolving strategy based on mist atomization for odorant biosensors. Analytica Chimica Acta. 1139, 178-188 (2020).
- Terutsuki, D., et al. Odor-sensitive field effect transistor (OSFET) based on insect cells expressing insect odorant receptors. 2017 IEEE 30thInternational Conference on Micro Electro Mechanical Systems (MEMS). , 394-397 (2017).
- Nagata, S., et al. A high-density integrated odorant sensor array system based on insect cells expressing insect odorant receptors. 2018 IEEE International Conference on Micro Electro Mechanical Systems (MEMS). , 282-285 (2018).
- Park, K. C., Ochieng, S. A., Zhu, J., Baker, T. C. Odor discrimination using insect electroantennogram responses from an insect antennal array. Chemical Senses. 27 (4), 343-352 (2002).
- Myrick, A. J., Park, K. C., Hetling, J. R., Baker, T. C. Real-time odor discrimination using a bioelectronic sensor array based on the insect electroantennogram. Bioinspiration & Biomimetics. 3, 046006 (2008).
- Pawson, S. M., et al. Light-weight portable electroantennography device as a future field-based tool for applied chemical ecology. Journal of Chemical Ecology. 46 (7), 557-566 (2020).
- Kuwana, Y., Shimoyama, I., Miura, H. Steering control of a mobile robot using insect antennae. Proceedings 1995 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). 2, 530-535 (1995).
- Kuwana, Y., Shimoyama, I. A pheromone-guided mobile robot that behaves like a silkworm moth with living antennae as pheromone sensors. The International Journal of Robotics Research. 17 (9), 924-933 (1998).
- Kuwana, Y., Nagasawa, S., Shimoyama, I., Kanzaki, R. Synthesis of the pheromone-oriented behaviour of silkworm moths by a mobile robot with moth antennae as pheromone sensors. Biosensors and Bioelectronics. 14 (2), 195-202 (1999).
- Martinez, D., Arhidi, L., Demondion, E., Lucas, J. B. P. Using insect electroantennogram sensors on autonomous robots for olfactory searches. Journal of Visualized Experiments: JoVE. (90), (2014).
- Lan, B., Kanzaki, R., Ando, N. Dropping counter: A detection algorithm for identifying odour-evoked responses from noisy electroantennograms measured by a flying robot. Sensors. 19 (20), 1-16 (2019).
- Anderson, M. J., Sullivan, J. G., Horiuchi, T., Fuller, S. B., Daniel, T. L. A bio-hybrid odor-guided autonomous palm-sized air vehicle. Bioinspiration & Biomimetics. 16, 026002 (2020).
- Terutsuki, D., et al. Real-time odor concentration and direction recognition for efficient odor source localization using a small bio-hybrid drone. Sensors and Actuators B: Chemical. 339, 129770 (2021).
- Große-Wilde, E., Svatoš, A., Krieger, J. A pheromone-binding protein mediates the bombykol-induced activation of a pheromone receptor in vitro. Chemical Senses. 31 (6), 547-555 (2006).
- Rüffer, D., Hoehne, F., Bühler, J. New digital metal-oxide (MOx) sensor platform. Sensors. 18 (4), 1052 (2018).
- Hayes, A. T., Martinoli, A., Goodman, R. M. Distributed odor source localization. IEEE Sensors Journal. 2 (3), 260-271 (2020).
- Lochmatter, T., Raemy, X., Matthey, L., Indra, S., Martinoli, A. A comparison of casting and spiraling algorithms for odor source localization in laminar flow. 2008 IEEE International Conference on Robotics and Automation. , 1138-1143 (2008).
- Chen, X., Huang, J. Odor source localization algorithms on mobile robots: A review and future outlook. Robotics and Autonomous Systems. 112, 123-136 (2019).
- Sakurai, T., et al. A single sex pheromone receptor determines chemical response specificity of sexual behavior in the silkmoth Bombyx mori. PLoS Genetics. 7 (6), 1002115 (2011).
