Summary

Долгосрочного отслеживания видео Cohoused водных животных: тематическое исследование повседневной двигательной активности омаров Норвегия (Норвежский Омар)

Published: April 08, 2019
doi:

Summary

Здесь мы представляем протокол к индивидуально отслеживать животных в течение длительного периода времени. Он использует компьютерное зрение методы для определения набора тегов вручную сконструированный с помощью группы омаров в качестве тематического исследования, одновременно предоставляя информацию о том, как дом, манипулировать и Марк омаров.

Abstract

Мы представляем протокола, связанных с видео отслеживания метод, основанный на вычитание фона и изображения бинаризация, что делает возможным проследить индивидуально cohoused животных. Мы проверили процедуры отслеживания с четырьмя cohoused омары Норвегия (Норвежский Омар) в условиях темноты свет на 5 дней. Омары индивидуально помечена. Экспериментальной установки и используемых методов отслеживания полностью основаны на с открытым исходным кодом. Сравнение результатов отслеживания с ручного обнаружения указывает, что омары были правильно обнаружено 69% времени. Среди правильно обнаруженных омары, их отдельные теги были правильно определены 89,5% времени. Учитывая частоту кадров, используемое в протоколе и скорость движения омаров производительность видео отслеживания имеет хорошее качество, и представитель результаты подтверждают действительность протокола в производстве ценных данных для нужд исследований (индивидуальные помещениях или двигательной активности шаблоны). Протокол, представленные здесь можно легко настроить и, следовательно, перенесены в другие виды, где отдельные отслеживания образцов в группе может быть ценным для ответа на вопросы исследования.

Introduction

В последние несколько лет автоматизированного отслеживания на основе образа предоставил высокоточные наборов данных, который может использоваться для изучения основных вопросов экологии и поведения дисциплин1. Эти наборы данных могут использоваться для количественного анализа поведения животных2,3. Однако каждое изображение методологии, используемой для отслеживания животных и поведение оценки имеет свои сильные стороны и ограничения. В протоколы на основе образа отслеживания, которые использовать пространственные данные из предыдущих кадров в фильме, для отслеживания животных4,5,6ошибки могут быть введены, когда крест пути двух животных. Эти ошибки обычно необратимого и распространяться через время. Несмотря на вычислительные достижения, которые уменьшают или почти устранения этой проблемы5,7эти методы по-прежнему нуждаются в однородных средах экспериментальных для точной идентификации животных и отслеживания.

Занятость знаков, которые могут быть однозначно идентифицированы в животных позволяет избежать этих ошибок и позволяет долгосрочного отслеживания соответствующих лиц. Широко используются маркеры (например, штрих-коды и Коды QR) существуют в промышленности и торговле и могут быть идентифицированы с помощью известной компьютерной техники видение, таких, как Расширенная реальность (например, ARTag.8) и калибровка камеры (например, CALTag9 ). Меткой животных ранее были использованы для высокой пропускной способности поведенческие исследования в различных видов животных, для например, муравьи3 или10пчел, но некоторые из этих предыдущих систем не оптимизированы для признания изолированных теги3.

Протокол отслеживания, представленных в настоящем документе особенно подходит для отслеживания животных в один одноканальной изображений, например, инфракрасный (ИК) света или монохроматического света (в частности, мы используем синий свет). Таким образом, метод, разработанный не использовать цвет подсказки, будучи также применимы к другим где есть ограничения в освещении. Кроме того мы используем настраиваемые теги, так как не призваны нарушить омары и, в то же время, позволяют записи с камер лоу кост. Кроме того, метод, используемый здесь основан на метку кадра независимые обнаружения (т.е.., алгоритм распознает наличие каждого тега изображения независимо от предыдущих траектории). Эта функция имеет отношение в приложениях, где животные могут быть временно закрыта, или животных траекторий могут пересекаться.

Тег позволяет его использование в различных групп животных. После задания параметров метода, может передаваться для решения других животных отслеживания проблем без необходимости для подготовки конкретных классификатор (других ракообразных или брюхоногие моллюски). Основные ограничения экспорта протокол являются размер тега и потребность в привязанности к животным (что делает его не пригодным для мелких насекомых, как мухи, пчел и т.д.) и 2D предположение для движения животных. Это ограничение является значительным, учитывая, что предложенный метод предполагает, что размер тегов остается неизменным. Свободно перемещаться в 3D-среде (например, рыба) животное будет показать другой тег размеры в зависимости от расстояния до камеры.

Цель настоящего Протокола заключается в том, предоставить удобный методологии для отслеживания несколькими тегами животных в течение длительного периода времени (например, дней или недель) в 2D контексте. Методологический подход основан на использовании открытым исходным кодом программного и аппаратного обеспечения. Свободное и открытое программное обеспечение позволяет, адаптации, модификации и свободное распространение; Таким образом созданного программного обеспечения улучшает на каждом шаге11,12.

Протокол здесь представлены фокусируется на лаборатории для отслеживания и оценки двигательной активности четырех водных животных в танк на 5 дней. Видео файлы записываются с покадровой образа 1 s и компилируются в видео 20 кадров в секунду (1 зарегистрированных день занимает примерно 1 час видео). Все видео записи автоматически обработанному получить животных позиции, применяя компьютера видение методы и алгоритмы. Протокол позволяет получать большое количество данных, избегая их ручной заметки, которое было показано время трудоемких и трудоемкий в предыдущих экспериментальных работ13отслеживания.

Мы используем омаров Норвегия (Норвежский Омар) для представления тематических исследований; Таким образом мы предоставляем вегетационных лабораторных условиях их поддерживать. Омаров выполняют хорошо изученных нору появление ритмы, которые находятся под контролем суточного часов14,15, и когда cohoused, они формируют доминирование иерархии16,17. Следовательно модель, представленная здесь является хорошим примером для исследователей, заинтересованных в социальной модуляции поведения с особым упором на циркадные ритмы.

Здесь представлены методология легко воспроизводится и может быть применен к другим видам, если есть возможность различать животных с отдельных тегов. Минимальные требования для воспроизведения такого подхода в лаборатории являются (i) изотермический номера для экспериментальной установки; (ii) непрерывной подачи воды; (iii) механизмы контроля температуры воды; (iv система управления освещением; (v) камеру USB и стандартный компьютер.

В этом протоколе мы используем Python18 и OpenCV19 (открытого исходного компьютера видение библиотека). Мы полагаемся на быстрые и часто применяемых операций (как с точки зрения осуществления и исполнения), таких как вычитание фона20 и изображения21,-порог22.

Protocol

Видов, используемых в настоящем исследовании не находится под угрозой или охраняемых видов. Отбор проб и лабораторные эксперименты после испанского законодательства и внутренних институциональных (ICM-CSIC) правила, касающиеся благополучия животных. Животных проб был проведен с разреше?…

Representative Results

Мы вручную построили подмножество экспериментальных данных для проверки автоматического анализа видео. Размер выборки 1,308 фреймов с уровнем доверия 99% (что является мерой безопасности, которая показывает ли образец точно отражает населения, в рамках ее погрешность) и…

Discussion

Производительность и представитель результаты, полученные с протоколом видео отслеживания подтвердил свою ценностьь для прикладных исследований в области поведения животных, с уделением особого внимания социальной модуляции и циркадные ритмы cohoused животных. Эффективность обнаружен…

Disclosures

The authors have nothing to disclose.

Acknowledgements

Авторы выражают благодарность д-р Джоан б. компании, которая финансируется издание этой работы. Кроме того Авторы благодарны техников экспериментальной аквариум зоны на Институт морских наук в Барселоне (ICM-CSIC) за их помощь в ходе экспериментальной работы.

Эта работа была поддержана проект RITFIM (CTM2010-16274; главный исследователь: J. Агусси) основали испанского министерства науки и инноваций (MICINN) и TIN2015-66951-C2-2-R грант от министерства экономики и конкурентоспособности Испании.

Materials

Tripod 475 Manfrotto A0673528 Discontinued
Articulated Arm 143 Manfrotto D0057824 Discontinued
Camera USB 2.0 uEye LE iDS UI-1545LE-M https://en.ids-imaging.com/store/products/cameras/usb-2-0-cameras/ueye-le.html
Fish Eye Len C-mount f=6mm/F1.4 Infaimon Standard Optical  https://www.infaimon.com/es/estandar-6mm
Glass Fiber Tank 1500x700x300 mm
Black Felt Fabric
Wood Structure Tank 5 Wood Strips 50x50x250 mm
Wood Structure Felt Fabric 10 Wood Strips 25x25x250 mm
Stainless Steel Screws As many as necessary for fix wood strips structures
PC 2-cores CPU, 4GB RAM, 1 GB Graphics, 500 GB HD
External Storage HDD 2 TB capacity desirable
iSPY Sotfware for Windows PC iSPY https://www.ispyconnect.com/download.aspx
Zoneminder Software Linux PC Zoneminder https://zoneminder.com/
OpenCV 2.4.13.6 Library OpenCV https://opencv.org/
Python 2.4 Python https://www.python.org/
Camping Icebox
Plastic Tray
Cyanocrylate Gel To glue tag’s 
1 black PVC plastic sheet (1 mm thickness) Tag's construction
1 white PVC plastic sheet (1 mm thickness) Tag's construction
4 Tag’s Ø 40 mm Maked with black & white PVC plastic sheet
3 m Blue Strid Led Ligts (480 nm) Waterproof as desirable
3 m IR Strid Led Ligts (850 nm) Waterproof as desirable
6m  Methacrylate Pipes Ø 15 mm Enclosed Strid Led
4 PVC Elbow  45o Ø 63 mm Burrow construction
3 m Flexible PVC Pipe Ø 63 mm Burrow construction
4 PVC Screwcap Ø 63 mm Burrow construction
4 O-ring Ø 63 mm Burrow construction
4 Female PVC socket glue / thread Ø 63 mm Burrow construction
10 m DC 12V Electric Cable Light Control Mechanism
Ligt Power Supply DC 12V 300 w Light Control Mechanism
MOSFET, RFD14N05L, N-Canal, 14 A, 50 V, 3-Pin, IPAK (TO-251) RS Components 325-7580 Light Control Mechanism
Diode, 1N4004-E3/54, 1A, 400V, DO-204AL, 2-Pines RS Components 628-9029 Light Control Mechanism
Fuse Holder RS Components 336-7851 Light Control Mechanism
2 Way Power Terminal 3.81mm RS Components 220-4658 Light Control Mechanism
Capacitor 220 µF 200 V RS Components 440-6761 Light Control Mechanism
Resistance 2K2 7W RS Components 485-3038 Light Control Mechanism
Fuse 6.3x32mm 3A RS Components 413-210 Light Control Mechanism
Arduino Uno Atmel Atmega 328 MCU board RS Components 715-4081 Light Control Mechanism
Prototipe Board CEM3,3 orific.,RE310S2 RS Components 728-8737 Light Control Mechanism
DC/DC converter,12Vin,+/-5Vout 100mA 1W RS Components 689-5179 Light Control Mechanism
2 SERA T8 blue moonlight fluorescent bulb 36 watts SERA Discontinued / Light isolated facility

References

  1. Dell, A. I., et al. Automated image-based tracking and its application in ecology. Trends in Ecology & Evolution. 29 (7), 417-428 (2014).
  2. Berman, G. J., Choi, D. M., Bialek, W., Shaevitz, J. W. Mapping the stereotyped behaviour of freely moving fruit flies. Journal of The Royal Society Interface. 11 (99), (2014).
  3. Mersch, D. P., Crespi, A., Keller, L. Tracking Individuals Shows Spatial Fidelity Is a Key Regulator of Ant Social Organization. Science. 340 (6136), 1090 (2013).
  4. Tyson, L. Hedrick Software techniques for two- and three-dimensional kinematic measurements of biological and biomimetic systems. Bioinspiration & Biomimetics. 3 (3), 034001 (2008).
  5. Branson, K., Robie, A. A., Bender, J., Perona, P., Dickinson, M. H. High-throughput ethomics in large groups of Drosophila. Nature Methods. 6 (6), 451-457 (2009).
  6. de Chaumont, F., et al. Computerized video analysis of social interactions in mice. Nature Methods. 9, 410 (2012).
  7. Pérez-Escudero, A., Vicente-Page, J., Hinz, R. C., Arganda, S., de Polavieja, G. G. idTracker: tracking individuals in a group by automatic identification of unmarked animals. Nature Methods. 11 (7), 743-748 (2014).
  8. Fiala, M. ARTag, a fiducial marker system using digital techniques. 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR’05). 2, 590-596 (2005).
  9. Koch, R., Kolb, A., Rezk-Salama, C., Koch, R., Kolb, A., Rezk-salama, C. . CALTag: High Precision Fiducial Markers for Camera Calibration. , (2010).
  10. Crall, J. D., Gravish, N., Mountcastle, A. M., Combes, S. A. BEEtag: A Low-Cost, Image-Based Tracking System for the Study of Animal Behavior and Locomotion. PLOS ONE. 10 (9), e0136487 (2015).
  11. Charpentier, R. Free and Open Source Software: Overview and Preliminary Guidelines for the Government of Canada. Open Source Business Resource. , (2008).
  12. Crowston, K., Wei, K., Howison, J. Free/Libre Open Source Software Development: What We Know and What We Do Not Know. ACM Computing Surveys. 37, (2012).
  13. Edmonds, N. J., Riley, W. D., Maxwell, D. L. Predation by Pacifastacus leniusculus on the intra-gravel embryos and emerging fry of Salmo salar. Fisheries Management and Ecology. 18 (6), 521-524 (2011).
  14. Sbragaglia, V., et al. Identification, Characterization, and Diel Pattern of Expression of Canonical Clock Genes in Nephrops norvegicus (Crustacea: Decapoda) Eyestalk. PLOS ONE. 10 (11), e0141893 (2015).
  15. Sbragaglia, V., et al. Dusk but not dawn burrow emergence rhythms of Nephrops norvegicus (Crustacea: Decapoda). Scientia Marina. 77 (4), 641-647 (2013).
  16. Katoh, E., Sbragaglia, V., Aguzzi, J., Breithaupt, T. Sensory Biology and Behaviour of Nephrops norvegicus. Advances in Marine Biology. 64, 65-106 (2013).
  17. Sbragaglia, V., Leiva, D., Arias, A., Antonio García, J., Aguzzi, J., Breithaupt, T. Fighting over burrows: the emergence of dominance hierarchies in the Norway lobster (Nephrops norvegicus). The Journal of Experimental Biology. 220 (24), 4624-4633 (2017).
  18. . Welcome to Python.org Available from: https://www.python.org/ (2018)
  19. Bradski, G. . OpenCV Library. Dr. Dobb’s Journal of Software Tools. , (2000).
  20. Piccardi, M. Background subtraction techniques: a review. 2004 IEEE International Conference on Systems, Man and Cybernetics (IEEE Cat. No.04CH37583). 4, 3099-3104 (2004).
  21. Sankur, B. Survey over image thresholding techniques and quantitative performance evaluation. Journal of Electronic Imaging. 13 (1), 146 (2004).
  22. Lai, Y. K., Rosin, P. L. Efficient Circular Thresholding. IEEE Transactions on Image Processing. 23 (3), 992-1001 (2014).
  23. Gaten, E. Light‐induced damage to the dioptric apparatus of Nephrops norvegicus (L.) and the quantitative assessment of the damage. Marine Behaviour and Physiology. 13 (2), 169-183 (1988).
  24. Sbragaglia, V., et al. An automated multi-flume actograph for the study of behavioral rhythms of burrowing organisms. Journal of Experimental Marine Biology and Ecology. 446, 177-186 (2013).
  25. Johnson, M. L., Gaten, E., Shelton, P. M. J. Spectral sensitivities of five marine decapod crustaceans and a review of spectral sensitivity variation in relation to habitat. Journal of the Marine Biological Association of the United Kingdom. 82 (5), 835-842 (2002).
  26. Markager, S., Vincent, W. F. Spectral light attenuation and the absorption of UV and blue light in natural waters. Limnology and Oceanography. 45 (3), 642-650 (2000).
  27. Aguzzi, J., et al. A New Laboratory Radio Frequency Identification (RFID) System for Behavioural Tracking of Marine Organisms. Sensors. 11 (10), 9532-9548 (2011).
  28. Audin, M. . Geometry [Electronic Resource. , (2003).
  29. . . OpenCV Team Structural Analysis and Shape Descriptors – OpenCV 2.4.13.7 documentation. , (2018).
  30. Slabaugh, G. G. . Computing Euler angles from a rotation matrix. 7, (1999).
  31. Zhang, Z. A flexible new technique for camera calibration. IEEE Transactions on Pattern Analysis and Machine Intelligence. 22 (11), 1330-1334 (2000).
  32. . www.FOURCC.org – Video Codecs and Pixel Formats Available from: https://www.fourcc.org/ (2018)
  33. Suzuki, S., be, K. Topological structural analysis of digitized binary images by border following. Computer Vision, Graphics, and Image Processing. 30 (1), 32-46 (1985).
  34. Sklansky, J. Finding the convex hull of a simple polygon. Pattern Recognition Letters. 1 (2), 79-83 (1982).
  35. Fitzgibbon, A., Fisher, R. . A Buyer’s Guide to Conic Fitting. , 51.1-51.10 (1995).
  36. Otsu, N. A Threshold Selection Method from Gray-Level Histograms. IEEE Transactions on Systems, Man, and Cybernetics. 9 (1), 62-66 (1979).
  37. Hu, M. K. Visual pattern recognition by moment invariants. IRE Transactions on Information Theory. 8 (2), 179-187 (1962).
  38. . Structural Analysis and Shape Descriptors – OpenCV 2.4.13.6 documentation Available from: https://docs.opencv.org/2.4/modules/imgproc/doc/structural_analysis_and_shape_descriptors.html?highlight=cvmatchshapes#humoments (2018)
  39. Douglas, D. H., Peucker, T. K. Algorithms for the Reduction of the Number of Points Required to Represent a Digitized Line or its Caricature. Cartographica: The International Journal for Geographic Information and Geovisualization. 10 (2), 112-122 (1973).
  40. Vanajakshi, B., Krishna, K. S. R. Classification of boundary and region shapes using Hu-moment invariants. Indian Journal of Computer Science and Engineering. 3, 386-393 (2012).
  41. Kahle, D., Wickham, H. ggmap : Spatial Visualization with ggplot2. The R Journal. , 144-162 (2013).
  42. Venables, W. N., Ripley, B. D. . Modern Applied Statistics with S. , (2010).
  43. Abbas, Q., Ibrahim, M. E. A., Jaffar, M. A. A comprehensive review of recent advances on deep vision systems. Artificial Intelligence Review. , (2018).
  44. Menesatti, P., Aguzzi, J., Costa, C., García, J. A., Sardà, F. A new morphometric implemented video-image analysis protocol for the study of social modulation in activity rhythms of marine organisms. Journal of Neuroscience Methods. 184 (1), 161-168 (2009).
  45. Chapman, C. J., Shelton, P. M. J., Shanks, A. M., Gaten, E. Survival and growth of the Norway lobster Nephrops norvegicus in relation to light-induced eye damage. Marine Biology. 136 (2), 233-241 (2000).
  46. . Video tracking software | EthoVision XT Available from: https://www.noldus.com/animal-behavior-research/products/ethovision-xt (2018)
  47. Correll, N., Sempo, G., Meneses, Y. L. D., Halloy, J., Deneubourg, J., Martinoli, A. SwisTrack: A Tracking Tool for Multi-Unit Robotic and Biological Systems. 2006 IEEE/RSJ International Conference on Intelligent Robots and Systems. , 2185-2191 (2006).
  48. . . MATLAB – MathWorks. , (2018).
  49. Leggat, P. A., Smith, D. R., Kedjarune, U. Surgical Applications of Cyanoacrylate Adhesives: A Review of Toxicity. ANZ Journal of Surgery. 77 (4), 209-213 (2007).
  50. Dizon, R. M., Edwards, A. J., Gomez, E. D. Comparison of three types of adhesives in attaching coral transplants to clam shell substrates. Aquatic Conservation: Marine and Freshwater Ecosystems. 18 (7), 1140-1148 (2008).
  51. Cary, R. . Methyl cyanoacrylate and ethyl cyanoacrylate. , (2001).
  52. Krizhevsky, A., Sutskever, I., Hinton, G. E. Imagenet classification with deep convolutional neural networks. Advances in neural information processing systems. , 1097-1105 (2012).

Play Video

Cite This Article
Garcia, J. A., Sbragaglia, V., Masip, D., Aguzzi, J. Long-term Video Tracking of Cohoused Aquatic Animals: A Case Study of the Daily Locomotor Activity of the Norway Lobster (Nephrops norvegicus). J. Vis. Exp. (146), e58515, doi:10.3791/58515 (2019).

View Video