Биогибридный дрон обнаружения запаха на основе электроантенографии с использованием антенн Silkmoth для локализации источника запаха
Summary
Это исследование вводит экспериментальные протоколы для биогибридного дрона, обнаруживающего запах, на основе антенн шелкопряда. Представлена работа экспериментального устройства электроантеннограммы с шелкопрядными антеннами, в дополнение к структуре биогибридного дрона, предназначенного для локализации источника запаха с использованием алгоритма спирального всплеска.
Abstract
Небольшие беспилотные летательные аппараты с химическими или биосенсорными устройствами, которые могут обнаруживать молекулы одоранта в воздухе, привлекли значительное внимание из-за их применимости в мониторинге окружающей среды и безопасности и поисково-спасательных операциях. Для локализации источника запаха разработаны небольшие беспилотные летательные аппараты с коммерческими датчиками газа металл-оксид-полупроводник (MOX); однако их характеристики обнаружения запаха в режиме реального времени оказались недостаточными. Однако технологии биозондирования, основанные на обонятельных системах насекомых, демонстрируют относительно высокую чувствительность, селективность и реакцию в реальном времени по отношению к молекулам одоранта по сравнению с коммерческими датчиками МОКС-газа. В таких устройствах иссеченные антенны насекомых функционируют как портативные элементы биосенсора одоранта и, как было установлено, обеспечивают отличные сенсорные характеристики. В этом исследовании представлены экспериментальные протоколы обнаружения молекул одоранта в воздухе с использованием небольшого автономного биогибридного дрона на основе навесного устройства электроантенографии (ЕАГ), включающего антенны шелкопряда.
Мы разработали монтируемое устройство ЕАГ, включающее в себя чувствительные/обрабатывающие детали с модулем Wi-Fi. Устройство было оснащено простым корпусом датчика для повышения направленности датчика. Таким образом, локализация источника запаха проводилась с использованием алгоритма спирального всплеска, который не предполагает направления против ветра. Экспериментальный биогибридный беспилотный летательный аппарат, обнаруживающий запах, выявил различия в концентрации одоранта в режиме реального времени в псевдооткрытой среде (за пределами аэродинамической трубы) и локализовал источник. Разработанный беспилотный летательный аппарат и связанная с ним система могут служить эффективным инструментом обнаружения молекул одоранта и подходящей платформой полета для разработки алгоритмов локализации источника запаха благодаря своей высокой программируемости.
Introduction
С недавними достижениями небольшие беспилотные летательные аппараты с химическими сенсорными устройствами стали широко применяться в мониторинге окружающей среды и безопасности и обнаружении утечек газа1. Небольшие дроны (диаметром около < 20 см) с коммерческими датчиками газа металл-оксид-полупроводник (MOX) были недавно применены для выполнения картирования запаха или локализации источника запаха2,3,4. При поиске источников запаха дрон должен отслеживать шлейфы запаха; однако локализация источника запаха с использованием небольших беспилотных летательных аппаратов представляет значительные проблемы. В открытой среде структуры запахового шлейфа подвергаются постоянным изменениям из-за факторов окружающей среды, таких как ветер или ландшафт. Следовательно, дроны должны быть способны идентифицировать различия в концентрации одоранта и направления, изменяющиеся с течением времени; однако производительность обнаружения запаха коммерческих МОКС-датчиков по-прежнему недостаточна для зондирования в режиме реального времени из-за их медленного времени восстановления5.
Биогибридные системы, образованные слиянием биологических и искусственных систем, являются последним трендом в робототехнике и сенсорных технологиях6,демонстрируя большой потенциал для превышения возможностей существующих подходов. Например, была разработана биороботизированная сенсорная сеть на основе тараканов для применения в чрезвычайных ситуациях7. Были проведены эксперименты, в которых крысам-киборгам с вычислительно улучшенным интеллектом было поручено решать лабиринты8. Исследована возможность социальной интеграции биомиметических роботов в группы настоящих рыбок данио9.
Естественно, эта тенденция была применена для разработки датчиков одоранта10. Например, биосенсоры на основе обонятельных систем насекомых обладают относительно высокой чувствительностью и селективностью по отношению к различным молекулам одоранта по сравнению с существующими МОКС-датчиками11. В соответствии с этим мы ранее разработали биогибридные биосенсорные системы одорантов на основе комбинации клеток насекомых, экспрессирующих рецепторы одоранта насекомых, и микроскопа или электронных устройств12,13,14,15,16. Кроме того, антенны насекомых могут быть независимо использованы в качестве портативных чувствительных частей одоранта с высокой чувствительностью, селективностью, воспроизводимостью и быстрым временем отклика / восстановления, используя метод электроантенографии(ЕАГ) 17,18,19. Для обнаружения запаха и локализации источника запаха разработано несколько наземно-мобильных роботовс методиками ЕАГ на основе антенн насекомых20,21,22, 23 или небольших дронов с устройствамиЕАГ 24, 25. Эти роботы отображали чувствительность датчиков и способность зондирования в режиме реального времени. Однако на мобильность наземных мобильных роботов значительно влияют особенности земли или препятствия. Кроме того, алгоритмы летно-технических характеристик и локализации источника запаха существующих биогибридных дронов на базе ЕАГ остаются ограниченными, поскольку экспериментальные условия были ограничены привязанным полетом24 или проведением в небольшой аэродинамической трубе25.
В этом исследовании представлены экспериментальные протоколы обнаружения запаха в воздухе и локализации источника запаха с использованием недавно разработанного биогибридного дрона на основе шелковых мотыльков(Bombyx mori)антенн26. Мы разработали легкое устройство ЕАГ с функцией беспроводной связи для обнаружения запаховых реакций антенн шелкопряда. Устройство ЕАГ было смонтировано на небольшом дроне, установленном в простом корпусе датчика для повышения направленности датчика на молекулы одоранта и снижения шума. Биогибридный дрон воспроизводимо обнаруживал молекулы одоранта в воздухе и определял максимальную концентрацию одоранта во время спиральных движений. Более того, дрон локализовал источник запаха, используя алгоритм спиральных перегонов без информации о направлении ветра.
Protocol
Representative Results
Discussion
Мобильные роботы с устройствами ЕАГ были впервые разработаны 25 лет назад20лет назад. С тех пор были достигнуты значительные успехи в роботизированных технологиях, включая беспилотные летательные аппараты. Учитывая эти технологические достижения, мы разработали автономный биогибридный дрон с устройством ЕАГ на основе шелкопрядовой антенны для обнаружения и локализации запахов в воздухе26. Данное исследование демонстрирует работу разработанного биогибридного дрона и отслеживание ручной стимуляции запахов в помещении с помощью дрона.
В этом исследовании, поскольку шелкопрядовые антенны были прикреплены к электродам с помощью электропроводящего геля, мы убедились, что оба конца каждой антенны надежно контактировали с электродами перед началом экспериментов ЕАГ на столе или дроне. Если сигналы от устройства ЕАГ внезапно терялись во время эксперимента, исследователь сначала проверял соединение антенны с электродами. Не исключено, что эта проблема возникла с большей вероятностью в экспериментах ЕАГ на дроне. В то время как срок службы изолированных усиков шелкопряда составляет более часа, поскольку гель высыхает за дюжину-десятки минут в этом исследовании, добавление геля к точкам соединения антенн и электродов может помочь восстановить интенсивность сигнала.
Дрон в этом исследовании был оснащен VPS, состоящим из камеры и инфракрасного датчика для стабилизации полета. Мы обнаружили, что дрон дрейфовал во время зависания на гладком полу, что, возможно, вызвало нестабильность инфракрасного датчика под корпусом дрона. Такая же проблема иногда возникала, когда проводились эксперименты с использованием этого дрона в помещении с гладким полом, таким как плитка. Поэтому мы покрыли пол приподнятыми коврами (использовали четырехцветные ковры площадью 45 см × 45 см) и уменьшили дрейф дрона. Этот процесс был признан полезным для стабилизации полета экспериментов ЕАГ на дроне.
Значение биогибридного дрона в этом исследовании заключается в его способности распознавать концентрацию запаха и его направленность датчика к источникам запаха. Дрон идентифицировал различия в концентрации одоранта в реальном времени за пределами аэродинамической трубы и локализовал источник с помощью алгоритма спиральных всплесков(рисунок 8). Алгоритм29,30 спирального всплеска не требует информации о местоположении шлейфа при повторном получении шлейфа и демонстрирует свою относительно высокую надежность, по сравнению с алгоритмом литья, в низкоскоростном ламинарном потоке30. Этот алгоритм ранее был установлен на наземном мобильном роботе30; однако для распознавания направления ветра против ветра требовался датчик направления ветра. Информация об запахах бинаризировалась, а концентрация игнорировалась.
Для дронов на основе антенн насекомых установка дополнительных датчиков, таких как датчики ветра, является компромиссом между полезной нагрузкой и потреблением батареи. Кроме того, информация о запахе, обнаруженная ЕАГ на дроне, все же оценивалась для определения того, превысила ли она порог25. Биогибридная конструкция дрона, использованная в этом исследовании, повысила направленность самого устройства ЕАГ и не требовала датчика направления ветра. Направленность датчика позволила дрону использовать информацию о концентрации запаха во время спиральных движений в комнатной среде, которая была более сложной, чем аэродинамическая труба. В этом исследовании использовался цилиндрический корпус; однако в будущем следует разработать более сложный и легкий корпус.
Тем не менее, биогибридный дрон, рассмотренный в этом исследовании, имеет некоторые ограничения. Например, расстояние локализации источника запаха по-прежнему было ограничено. Благодаря своей высокой мобильности дроны должны быть способны искать запахи на больших расстояниях порядка нескольких десятков метров. Однако расстояние, достигнутое биогибридным дроном на основе антенны насекомых, было ограничено 2м 26,а испытания на локализацию источника запаха проводились в аэродинамической трубе с ограниченным пространством25. Расширение расстояния поиска имеет важное значение для разработки практической полетной платформы для обнаружения запаха.
Для поиска на большие расстояния (более 10 м) требуется высокая направленность датчика и эффективный алгоритм локализации источника запаха, учитывая, что ожидается разбавление концентрации запаха и сложное распределение шлейфа запаха. Стерео зондирование с помощью двух антенн одного и того же насекомого может увеличить направленность23. Большинство экспериментов по локализации источников запаха с использованием небольших дронов с коммерческими газовыми датчиками проводились с использованием одного датчика, а массив устройств ЕАГ на дронах не проводился. Поэтому для небольших дронов необходимо разработать массив устройств ЕАГ, чтобы повысить их потенциал применения с датчиком запаха. Массив устройств ЕАГ также будет способствовать разработке эффективного алгоритма локализации источника запаха, поскольку он позволяет более точно локализовать шлейф запаха.
Биогибридные дроны, обнаруживающие запах на основе антенн насекомых, вносят свой вклад как в фундаментальные, так и в прикладные исследования. С точки зрения фундаментальных исследований, такие дроны могут быть использованы в качестве тестовых платформ для разработки алгоритмов локализации источника запаха. Различные алгоритмы были ранее предложены31; однако тестовые платформы с использованием мобильного робота, который проводил двумерный поиск запаха или коммерческих газовых датчиков, продемонстрировали ограниченную производительность. В этих установках предлагаемым алгоритмам трудно продемонстрировать свою производительность. Биогибридный дрон в этом исследовании продемонстрировал способность распознать концентрацию запаха, а также направленность датчика, чувствительность и селективность. Поэтому он показывает большие перспективы для установки в более продвинутых или трехмерных алгоритмах локализации источника запаха.
С точки зрения применения, биогибридные беспилотные летательные аппараты могут быть развернуты в миссиях, к которым живым животным может быть трудно приблизиться, таких как обнаружение токсичных химических / биологических утечек, взрывчатых материалов и поисково-спасательных операций. Чтобы применить такие дроны к этим миссиям, антенны насекомых должны обнаруживать молекулы одоранта, включенные в целевые источники запаха. Антенны Silkmoth могут быть генетически модифицированы32, чтобы иметь потенциал для обнаружения молекул одоранта, отличных от женского пола феромона шелкопряда; таким образом, эти приложения в настоящее время становятся реальностью.
Disclosures
The authors have nothing to disclose.
Acknowledgements
Эта работа была частично поддержана исследовательским грантом от Научного фонда Мурата. Авторы хотели бы поблагодарить Smart Robotics Co., Ltd., Токио, Япония, за помощь в разработке платформ и программировании беспилотных летательных аппаратов и Assist Technology Co., Ltd., Осака, Япония, за помощь в разработке электронных схем. Авторы также хотели бы поблагодарить д-ра Сигэру Мацуяму (Высшая школа наук о жизни и окружающей среде, Университет Цукуба) за предоставление очищенного бомбыколя; г-ну Такуя Накадзё (RCAST, Токийский университет) за поддержку шелководечества; и г-на Юсукэ Нотоми (Высшая школа науки и техники, Токийский научный университет) за поддержку приобретения изображений шелкопряда.
Materials
| Anemometer | MK Scientific, Kanagawa, Japan | DT-8880 | |
| Circulator | IRIS OHYAMA Inc., Miyagi, Japan | PCF-SC15T | |
| Compact air pump | AS ONE Corporation, Osaka, Japan | NUP-1 | |
| Drone | Shenzhen Ryze Tech Co., Ltd. | Tello EDU | Ryze Tech opens Tello EDU SDK. Our source code is based on SDK 2.0 Use Guide. https://dl-cdn.ryzerobotics.com/downloads/Tello/Tello%20SDK%202.0%20User%20Guide.pdf You can download python code (Tello3.py.) and develop flight programs. |
| EAG device | Custom made | The EAG device has custom software to measure signals and communicate with the PC. | |
| Electrically conductive gel | Parker Laboratories, NJ, USA | Spectra 360 | |
| Ethanol | FUJIFILM Wako Pure Chemical Corporation, Ltd., Osaka, Japan | 057-00456 | |
| Flowmeter | KOFLOC, Kyoto, Japan | RK1600R-12-B-Air-20 | |
| Gas sensor | Sensirion AG, Stäfa, Switzerland | SGP30 | SGP30 breakout board can be used. You can refer the Adafruit_SGP30 github library. https://github.com/adafruit/Adafruit_SGP30 |
| High-sealed storage bottle | FUJIFILM Wako Pure Chemical Corporation, Ltd., Osaka, Japan | 290-35731 | |
| Microcontroller | M5Stack, Shenzhen, China | M5StickC | |
| Purebred silkworm diet | Nosan Corporation Life Tech Department, Kanagawa, Japan | Sausage type | |
| Silkmoth | Ueda-sansyu, Nagano, Japan | a hybrid strain of Kinshu × Showa | |
| Solenoid valve | Takasago Electric, Inc., Nagoya, Japan | YDV-3-1/8 | |
| Wi-Fi access point | Yamaha Corporation, Shizuoka, Japan | WLX313 |
References
- Burgués, J., Marco, S. Environmental chemical sensing using small drones: A review. Science of the Total Environment. 748, 141172 (2020).
- Ercolani, C., Martinoli, A. 3D odor source localization using a micro aerial vehicle: system design and performance evaluation. 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). , 6194-6200 (2020).
- Neumann, P. P., et al. Indoor air quality monitoring using flying nanobots: design and experimental study. IEEE International Symposium on Olfaction and Electronic Nose (ISOEN). , 1-3 (2019).
- Burgués, J., Hernández, V., Lilienthal, A. J., Marco, S. Smelling nano aerial vehicle for gas source localization and mapping. Sensors. 19 (3), 478 (2019).
- Shigaki, S., Okajima, K., Sanada, K., Kurabayashi, D. Experimental analysis of the influence of olfactory property on chemical plume tracing performance. IEEE Robotics and Automation Letters. 4 (3), 2847-2853 (2019).
- Romano, D., Donati, E., Benelli, G., Stefanini, C. A review on animal-robot interaction: from bio-hybrid organisms to mixed societies. Biological Cybernetics. 113, 201-225 (2019).
- Bozkurt, A., Lobaton, E., Sichitiu, M. A biobotic distributed sensor network for under-rubble search and rescue. Computer. 49 (5), 38-46 (2016).
- Yu, Y., et al. Intelligence-augmented rat cyborgs in maze solving. PLoS One. 11 (2), 0147754 (2016).
- Cazenille, L., et al. How mimetic should a robotic fish be to socially integrate into zebrafish groups. Bioinspiration & Biomimetics. 13, 025001 (2018).
- Sankaran, S., Khot, L. R., Panigrahi, S. Biology and applications of olfactory sensing system: A review. Sensors and Actuators B: Chemical. 171-172, 1-17 (2012).
- Bohbot, J. D., Vernick, S. The emergence of insect odorant receptor-based biosensors. Biosensors. 10 (3), 26 (2020).
- Terutsuki, D., et al. Increasing cell-device adherence using cultured insect cells for receptor-based biosensors. Royal Society Open Science. 5 (3), 172366 (2018).
- Terutsuki, D., Mitsuno, H., Kanzaki, R. 3D-printed bubble-free perfusion cartridge system for live-cell imaging. Sensors. 20 (20), 5779 (2020).
- Terutsuki, D., et al. Highly effective volatile organic compound dissolving strategy based on mist atomization for odorant biosensors. Analytica Chimica Acta. 1139, 178-188 (2020).
- Terutsuki, D., et al. Odor-sensitive field effect transistor (OSFET) based on insect cells expressing insect odorant receptors. 2017 IEEE 30thInternational Conference on Micro Electro Mechanical Systems (MEMS). , 394-397 (2017).
- Nagata, S., et al. A high-density integrated odorant sensor array system based on insect cells expressing insect odorant receptors. 2018 IEEE International Conference on Micro Electro Mechanical Systems (MEMS). , 282-285 (2018).
- Park, K. C., Ochieng, S. A., Zhu, J., Baker, T. C. Odor discrimination using insect electroantennogram responses from an insect antennal array. Chemical Senses. 27 (4), 343-352 (2002).
- Myrick, A. J., Park, K. C., Hetling, J. R., Baker, T. C. Real-time odor discrimination using a bioelectronic sensor array based on the insect electroantennogram. Bioinspiration & Biomimetics. 3, 046006 (2008).
- Pawson, S. M., et al. Light-weight portable electroantennography device as a future field-based tool for applied chemical ecology. Journal of Chemical Ecology. 46 (7), 557-566 (2020).
- Kuwana, Y., Shimoyama, I., Miura, H. Steering control of a mobile robot using insect antennae. Proceedings 1995 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). 2, 530-535 (1995).
- Kuwana, Y., Shimoyama, I. A pheromone-guided mobile robot that behaves like a silkworm moth with living antennae as pheromone sensors. The International Journal of Robotics Research. 17 (9), 924-933 (1998).
- Kuwana, Y., Nagasawa, S., Shimoyama, I., Kanzaki, R. Synthesis of the pheromone-oriented behaviour of silkworm moths by a mobile robot with moth antennae as pheromone sensors. Biosensors and Bioelectronics. 14 (2), 195-202 (1999).
- Martinez, D., Arhidi, L., Demondion, E., Lucas, J. B. P. Using insect electroantennogram sensors on autonomous robots for olfactory searches. Journal of Visualized Experiments: JoVE. (90), (2014).
- Lan, B., Kanzaki, R., Ando, N. Dropping counter: A detection algorithm for identifying odour-evoked responses from noisy electroantennograms measured by a flying robot. Sensors. 19 (20), 1-16 (2019).
- Anderson, M. J., Sullivan, J. G., Horiuchi, T., Fuller, S. B., Daniel, T. L. A bio-hybrid odor-guided autonomous palm-sized air vehicle. Bioinspiration & Biomimetics. 16, 026002 (2020).
- Terutsuki, D., et al. Real-time odor concentration and direction recognition for efficient odor source localization using a small bio-hybrid drone. Sensors and Actuators B: Chemical. 339, 129770 (2021).
- Große-Wilde, E., Svatoš, A., Krieger, J. A pheromone-binding protein mediates the bombykol-induced activation of a pheromone receptor in vitro. Chemical Senses. 31 (6), 547-555 (2006).
- Rüffer, D., Hoehne, F., Bühler, J. New digital metal-oxide (MOx) sensor platform. Sensors. 18 (4), 1052 (2018).
- Hayes, A. T., Martinoli, A., Goodman, R. M. Distributed odor source localization. IEEE Sensors Journal. 2 (3), 260-271 (2020).
- Lochmatter, T., Raemy, X., Matthey, L., Indra, S., Martinoli, A. A comparison of casting and spiraling algorithms for odor source localization in laminar flow. 2008 IEEE International Conference on Robotics and Automation. , 1138-1143 (2008).
- Chen, X., Huang, J. Odor source localization algorithms on mobile robots: A review and future outlook. Robotics and Autonomous Systems. 112, 123-136 (2019).
- Sakurai, T., et al. A single sex pheromone receptor determines chemical response specificity of sexual behavior in the silkmoth Bombyx mori. PLoS Genetics. 7 (6), 1002115 (2011).
