SwarmSight: Real-time Tracking of Insect Antenna Movements and Proboscis Extension Reflex Using a Common Preparation and Conventional Hardware

Justas Birgiolas; Christopher M. Jernigan; Richard C. Gerkin; Brian H. Smith; Sharon M. Crook

doi:10.3791/56803

JoVE Journal > Neuroscience

Please note that all translations are automatically generated. Click here for the English version.

Neurosciences

SwarmSight: 곤충 안테나와 일반적인 준비와 기존 하드웨어를 사용 하 여 코 확장 반사의 실시간 추적

Published: December 25, 2017

doi:

10.3791/56803

Justas Birgiolas¹, Christopher M. Jernigan¹, Richard C. Gerkin¹, Brian H. Smith¹, Sharon M. Crook^1,2

¹School of Life Sciences,Arizona State University, ²School of Mathematical and Statistical Sciences,Arizona State University

Summary

이 프로토콜 기존의 컴퓨터를 사용 하 여 기존의 웹 카메라 비디오에서 곤충 안테나 및 코 위치의 프레임별으로 추적을 위한 새로운 소프트웨어, SwarmSight, 사용 하기 위한 단계를 설명 합니다. 무료, 오픈-소스 소프트웨어 프레임 약 120 배를 인간 보다 더 빨리 처리 하 고 이상의 인간의 정확도에서 수행 합니다.

Abstract

많은 과학적 농업으로 중요 한 곤충은 안테나를 사용 하 여 휘발성 화합물의 존재를 감지 하 여 수 유 하는 동안 그들의 코를 확장. 능력을 빠르게 자연 안테나와 코 움직임의 고해상도 측정을 얻을 하 고 그들이 어떻게 화학, 발달, 및 유전자 조작에 대 한 응답에서 변경 평가 곤충 행동의 이해를 도움이 됩니다. 평가 집계 곤충 떼 또는 동물 그룹에서 자연 스러운 움직임과 실험실 동영상 비디오 분석 소프트웨어 SwarmSight를 사용 하 여 우리의 이전 작업을 확장 하 여 우리 개발 했다 소설, 무료 및 오픈 소스 소프트웨어 모듈 SwarmSight 돌출부 기존의 컴퓨터를 사용 하 여 기존의 웹 카메라 비디오에서 (SwarmSight.org) 곤충 안테나 및 코 위치의 프레임별으로 추적을 위한 추적. 소프트웨어 처리 프레임 약 120 배 더 빠른 인간 보다, 인간의 정확도, 보다 더 나은 수행 하 고, 더듬이 역학을 캡처할 수 있습니다 두 번째 (fps) 동영상을 초당 30 프레임을 사용 하 여 최대 15 Hz. 소프트웨어 두 냄새 꿀벌의 더듬이 응답을 추적 하 고 중요 한 말 더듬이 retractions 냄새 소스 1에서 발견 하는 데 사용 되었다 냄새 프레 젠 테이 션 후 s. 안테나 위치 밀도 열 클러스터 형성 및 클러스터 지도 및 각도 냄새 농도에 의존을 의미 관찰 합니다.

Introduction

대부분 절지동물 이동 안테나 또는 다른 돌출부 시간과 공간에 환경 단서와 신호를 샘플 합니다. 동물 화학 휘발성, 미각 및 기계적 자극¹^,²^,^,³⁴등 감각 신호를 감지 하 여 자신의 환경을 탐색 하는 안테나를 사용할 수 있습니다. 곤충, 안테나 포함 화학 휘발성⁴^,^,⁵⁶ 바인딩할 중앙 두뇌 지역¹^,^{7 후 각 감각 신경 통해이 신호를 감각 수용 체} ^,^,⁸⁹. 곤충은 들어오는 냄새⁴^,^,¹⁰¹¹에 대 한 정보를 변조 하 안테나 위치를 조정할 수 있습니다. 이 변조 용이 적극적으로 정보 행동 응답 냄새와 그들의 깃털¹²^,¹³.

많은 곤충, 등 (예: 꿀 꿀벌과 땅벌) Hymenopterans, Lepidopterans (예를 들면, 나비), Dipterans (예를 들어, 파리와 모기), 다른 가운데, 그들의 코¹⁴ 를 확장 하 여 피드 ^, ¹⁵ ^, ¹⁶ ^, ¹⁷ ^, ¹⁸ ^, ¹⁹ ^, ²⁰ ^, ²¹. 코 확장을 안정적으로 다양 한 학습 및 메모리 작업²²^,²³^,^,²⁴²⁵^,²⁶^, 에 대 한 과거에 사용 되었습니다²⁷^,^,²⁸²⁹^,^,³⁰³¹. 마찬가지로, 높은 시간적 및 공간적 해상도 안테나 운동의 양적 평가 자극, 행동, 그리고 동물의 내부 상태 사이 관계에 대 한 통찰력을 생성할 수 있습니다. 실제로 이전 작업 더듬이 움직임 풍부한 양의 환경의 꿀 꿀벌 추적에 대 한 정보를 포함 하는 어떻게 하 고 어떻게 움직임³²^,^,³³³⁴^{, 학습 변화를 보이고 있다} ³⁵^,³⁶^,^,³⁷³⁸.

지난 10 년간, 동물 행동 관찰 방법이 되어 크게 가속 발전 고해상도 비디오 카메라에 의해 컴퓨터 처리 속도, 및 머신 비전 알고리즘. 동물 검색, 계산, 추적, 및 장소 환경 분석 같은 작업 동물 행동의 동영상을 처리할 수 있는 정교한 소프트웨어와 함께 왔 되었습니다 있다 및 추출 관련 측정³⁹^,⁴⁰^, ⁴¹^,⁴²^,⁴³^,⁴⁴^,⁴⁵^,^,⁴⁶⁴⁷.

이러한 기술에는 곤충 안테나와 코 움직임의 추적 주 었 있다. 마우스 커서를 사용 하 여 수동으로 안테나의 위치를 추적 하는 인간의 평가 대 한 가능 하다. 그러나,이 방법은 될 수 있지만 정확 하 게, 작업은 시간이 걸리고, 그리고 인간의 부주의 피로 신뢰할 수 없는 결과가 발생할 수 있습니다. 특별 한 장비와 준비를 복잡 한 소프트웨어에 대 한 필요성을 줄이기 위해 사용할 수 있습니다. 예를 들어 한 설치 고속 카메라를 사용 하며 안테나 운동⁴⁸를 추적 하기 위해 안테나의 끝을 그렸다. 사용자가 수 또한 검출 하는 안테나와 코 위치⁴⁹에서 소프트웨어를 돕기 위해 동영상의 키 프레임을 선택 하 게 됩니다. 또 다른 방법은 감지 안테나, 식별 하기 위해 두 개의 큰 모션 클러스터 하지만 코 위치⁵⁰검색 하지 않습니다. 다른 소프트웨어 패키지 안테나 및 코 위치를 검색할 수 있습니다 하지만 약 7.5 필요 처리 시간 당 프레임⁵¹, 실시간 또는 장기 관측 연구에 대 한 금지 될 수 있는 s. 마지막으로,⁴⁶작업 수행 하려면 (예: EthoVision) 상용 소프트웨어 패키지를 사용자 지정할 수 있습니다 하지만 그들의 라이센스 및 훈련 비용 금지 될 수 있습니다.

여기 설명 하는 방법을 우리 곤충 안테나 및 다음 목표와 코의 위치를 추적 하기 위해 모션 분석 소프트웨어⁴¹ 에 우리의 이전 작업 확장: 특별 한 하드웨어 또는 복잡 한 동물 준비에 대 한 요구 (1) (2) 실시간에 처리 하는 프레임 (30 fps 또는 빠르게) 기존 컴퓨터의 사용, 및 (4) 오픈-소스, 쉽게 확장 가능한 코드 (3) 쉽게에.

결과 소설 방법 및 오픈 소스 소프트웨어, SwarmSight 돌출부 추적, 안테나 팁의 회화를 요구 하지 않는다, 비디오, 그리고 프로세스는 기존의 컴퓨터 (에 30-60 fps 비디오 프레임 캡처 소비자 웹 카메라를 사용할 수 있습니다. 그림 1)입니다. 소프트웨어 입력으로 비디오 파일을 사용합니다. 사용자는 비디오에서 곤충 머리의 위치를 찾습니다 하 고, 처리 후 쉼표로 구분 된 값 (.csv) 파일은 안테나와 코의 위치와 생산. 소프트웨어는⁵²FFmpeg 라이브러리 사용 하 여 수백 개의 다른 비디오 포맷 (를 포함 하 여 대부분의 디지털 카메라에 의해 생성 하는 형식)을 읽을 수 있는.

그림 1: 동물 설치 및 소프트웨어 출력. (A) A의 머리와 몸을 마구에 절제 된 꿀 꿀벌 사실. 소스는 동물, 비디오 카메라 앞에 배치 하는 (B) 냄새, 위에 있고 진공 소스 동물 뒤에 배치 됩니다. (C) 안테나 끝과 코 변수는 비디오에서 SwarmSight 소프트웨어에 의해 감지. (D) 사용자 동물 이상의 안테나 센서를 배치 하 고 필터 매개 변수를 조정 합니다. 소프트웨어는 안테나와 코 위치 (노란색 반지)를 검색합니다.이 그림의 더 큰 버전을 보려면 여기를 클릭 하십시오.

첫째, 곤충의 몸과 머리는 제 지 마구에는 안테나와 코 움직임은 쉽게 관찰 (그림 1A). 냄새 소스 뒤에, 공기에서 냄새를 제거 하 고 감각 적응 (그림 1B)의 잠재적인 영향을 최소화 하려면 배치 진공 소스와 곤충, 앞에 배치 됩니다. 기존의 웹 카메라는 삼각대에 곤충의 머리 위에 배치 됩니다. LED 냄새 제시 되는 때를 나타내기 위해 카메라의 뷰 내에서 배치 될 수 있습니다.

그림 2: 안테나 좌표계. X, Y 값 사용 하 여 비디오 좌표 시스템 왼쪽 위가 X 및 Y 값 증가 오른쪽 하단 모서리 쪽으로 이동할 때. 각도 머리 (일반적으로 악취 소스)의 앞에 관하여도 표시 됩니다. “0” 값 안테나 생물체에 의해 형성 된 선 동물 앞 직접 가리키는 의미 합니다. 모든 각도 긍정적, 제외 하 고 때 반대 방향으로 (예를 들어, 왼쪽 오른쪽 편 포인트) 안테나 포인트 이다. 이 그림의 더 큰 버전을 보려면 여기를 클릭 하십시오.

촬영 후 비디오 파일 사용자는 곤충의 머리 위에 안테나 센서 위젯 (그림 1D, 검은 사각형)을 배치 하 고 비디오 재생을 시작 SwarmSight 소프트웨어와 함께 열립니다. .Csv 파일은 X 포함 됩니다 결과 저장할 때 안테나의 Y 위치 팁, 안테나 각도 (그림 2), 머리와 코의 앞에 상대적인 X, Y 위치. 또한, 지배적인 분야 통계는 각 안테나에 대 한 계산 됩니다. 통계 쇼는 각 안테나를 둘러싼 5 36도 분야의 가장 포인트를 포함 된 안테나, 될 것으로 간주 하 고 안테나 위치/각도 통계 시끄러운 또는 그렇지 않으면 문제가 비디오 인해 신뢰할 수 없는 경우 유용할 수 있습니다.

간단히, 소프트웨어 동작 필터⁵³ 와⁵⁴편안한 홍수 채우기 알고리즘 집합을 사용 하 여 작동 합니다. 두 필터는 사용 가능성이 안테나 포인트를 찾으려면: 3 연속 프레임 차이 필터⁴¹^,⁵⁵ 와 중간 배경 빼기⁵⁶ 필터. 컬러 거리 임계값 필터 코 포인트 감지에 사용 됩니다. 각 필터의 포인트의 최고 10% 결합 되 고 2 픽셀 (px) 최대 간격으로 연속 포인트를 검사 하는 홍수 채우기 알고리즘 극단적인 포인트를 찾아냅니다. 병렬 프레임 디코딩, 처리 및 렌더링 파이프라인 및 최적화 된 메모리 할당 필터 데이터 흐름의 고성능을 달성 한다. 원시 x 및 y 좌표 값은 소프트웨어에 의해 생성 되는 3 프레임 롤링 메디아 필터⁵⁷ 와 사후 처리 ( 내용참조). 전체 소스 코드를 다운로드 하는 지시는 온라인⁵⁸찾을 수 있습니다.

아래는 안테나 추적 꿀 꿀벌 사실을 준비 하는 프로토콜이입니다. 유사한 프로토콜 다른 곤충의 안테나/코 움직임을 추적 하기 위해 사용 될 수 있습니다. 결과 섹션에서 우리는 인간의 점자 및 안테나 운동 5 odorants에 대 한 응답에서의 평가 의해 수행 하는 관리 소프트웨어를 출력의 비교 소프트웨어에 의해 감지 되는 샘플 안테나 추적 출력을 설명 합니다.

Protocol

1. 캐치 하 고 꿀벌을 활용 스미스와 부담59의 프로토콜 단계 1 3.1.1에 따라. 2. 준비 동물 하네스 및 비디오 카메라 하네스 튜브, 시각적으로 다리 위에서 이동 볼 수 없는 검사의 정상에 테이프를 적용 하 여 다리를 숨깁니다. 곤충의 머리의 뒤에 온수 왁 스를 적용 하 여 머리를 제 지. 머리는 고정 및 이동 하지 않았는지 살펴보십시오. 이 시점에서, 안테나와는 mandibles 유일한 부속 자유롭게 이동 해야 합니다. 곤충 하네스는 밑에 종이의 흰 시트를 배치 하 여 안테나와 비디오 배경 사이의 대비를 극대화 합니다. 나중에 카메라를 조정 하는 필요를 최소화 하기 위해 종이에 곤충 마구의 위치를 표시 하 고 같은 위치에 새로운 개인을 배치 합니다. 곤충의 머리 위에 카메라를 삼각대 또는 웹캠 홀더를 사용 하 여 카메라 위치를 수정 합니다. 카메라 소프트웨어를 사용 하는 비디오 미리 보기 고 머리 이미지를 비디오의 모든 면에서 20 ~ 30% 클리어런스에 대 한 허용을 확대 하려면 확대. 카메라 보기에서 유일한 이동 개체 안테나 또는 코/mandibles와 필요한 경우 카메라 또는 동물 위치 확인 하십시오.참고: SwarmSight 픽셀 머리 주변에 운동에 대 한 확인 합니다. 다리, 그림자, 팬, 또는 인간 개체에 의해 발생 하는 머리의 바로 근처에 없는 모션 소프트웨어를 혼동 하 고 추가 소음을 소개 수 있습니다. 주위 점화를 조정 하 여 안테나 그림자를 최소화 합니다.참고: 소프트웨어는 몇 가지 그림자를 허용할 수 있는 하지만 최상의 결과 그들은 최소한으로 유지 되어야 한다. 카메라 셔터 속도 소프트웨어 카메라 노출 시간 비디오 내내 일정 하 게 유지를 사용 하 여 자동 카메라 노출 조정을 방지 합니다. ‘ 웹캠 설정.’에서 ‘노출 슬라이더’를 조정 하 여 대비 (비디오 장면 너무 어둡거나 너무 빛)을 극대화 하기 위해 셔터 속도 조정 소프트웨어를 사용 하 여참고: 위의 지침은 웹캠 및 사용 하는 소프트웨어입니다. 이러한 다른 웹캠 사용 하는 경우 적응 해야 합니다. 냄새 배달 소스 놓고 그것 카메라 비디오 피드를 검사 하 여 카메라 보기를 방해 하지 않습니다 확인 합니다. 진공 소스 자극 냄새를 제거 하는 반대 측에 배치 됩니다 확인 하십시오. Led가, 또는 다른 시각적 표시기를 나타내는 냄새 배달, 카메라 뷰 내에서 밝기를 변경 하는 장소.참고: LED 밝기 값은 소프트웨어에 의해 저장 되며 냄새 배달 시작 하 고 끝나는 때 정확한 프레임을 결정 하기 위해 사용할 수 있습니다. 3. 실험 조건에서 각각 영화 각 개별 곤충 및 테스트 조건에 별도 비디오 파일을 별도로 각 개별 테스트 조합을 기록 하거나 사용 하 여 비디오 영화 편집 긴 비디오 파일을 더 작은 파일로 분할 하는 소프트웨어.참고: 소프트웨어 사용자를 각 비디오에 고정 머리에 대 한 머리의 위치를 찾으려고 합니다. 머리를 이동 하는 경우 추가 소음을 소개 합니다. SwarmSight의 일괄 처리 기능 빠르게 여러 동영상에 대 한 머리의 위치를 설정 하려면 사용자를 허용 하 고 곤충 머리 각 비디오 파일의 기간에 대 한 고정 남아 가정. 긴 비디오 파일을 분할 하는 방법에 대 한 지침 온라인60찾을 수 있습니다. 4. 비디오 분석 다운로드 및 온라인58을 제공 하는 단계에 따라 ‘ 안테나 추적 ‘ 모듈을 설치.참고: 소프트웨어를 사용 하는 방법을 설명 하는 비디오 자습서 뿐만 아니라 웹 사이트에 사용할 수 있습니다. ‘찾아보기’ 버튼을 사용 하 여 촬영 된 동물을 보여주는 비디오 파일을 엽니다. 위치는 안테나 센서 및 처리 센서 일단 비디오 로드, 직사각형 “안테나 센서” 위젯 정렬 머리와 위젯 (예를 들어 그림 1D 참조) 회전 및 크기 조절 아이콘을 사용 하 여 동물의 머리를 놓으십시오. 냄새 또는 자극 제시 되는 때를 나타내는 LED 위에 원형 “치료 센서” 위젯을 놓습니다.참고: 치료 센서의 모든 프레임에 대 한 위젯 센터에서 픽셀의 명도 값을 기록 합니다. 시작 비디오 처리 프레임의 분석을 시작 하려면 왼쪽된 하단에 (검은색 삼각형) “재생” 버튼을 누릅니다.참고: 검색된 가능성이 안테나와 코 포인트는 강조 표시 된 노란색 될 것입니다. 노란 반지는 부속의 끝의 위치가 표시 됩니다. 코 확장 길이 안테나의 각도 (0가 직접 동물 앞) “모델” 위젯 왼쪽된 하단 모서리에 표시 됩니다 ( 그림 1D참조). 오른쪽 아래 모서리에 “지배적인 분야” 위젯 5 36 학위 분야의 상대적 강도 대부분 안테나 포인트 발견 되었습니다 표시 됩니다. 어두운 분야 포함 가장 포인트는 가벼운가지고 최소. 가장 포인트는 섹터 번호 (1-5) 위젯의 하단 모서리에 표시 됩니다 ( 그림 1D참조). 필터 임계값을 조정 하 고 추가 제외 영역 필터의 감도 변경 하려면 오른쪽 패널에 “필터” 섹션에서 슬라이더를 조정 합니다.참고: 조명 조건과 부속의 일반적인 이동 속도 따라 다른 필터 감도 것입니다 수. 있습니다 사용자는 값을 조정 하 고 안테나 센서 도구에서 강조 표시 된 영역을 관찰 하 여 최적의 값을 찾아 수 있습니다. 감도 이상적인 집합이 있으면, 부속만 강조 표시 됩니다. 그것은 비디오의 다른 부분에 빨리 앞에 되도록 필터 감도 최적의 너무 좋습니다. 필요한 경우, 오른쪽 패널에서 외부 개체를 무시 하려면 “안테나 센서” 섹션을 확장 단추를 클릭 “추가 제외 영역” ( 그림 1D참조), 어떤을의 내용에 의해 무시 됩니다 빨간색 다각형 형태로 점의 집합을 클릭 합니다 소프트웨어입니다.참고: 비디오 포함 외부 모션 모션 안테나 센서 위젯 영역 (예를 들어, 움직이는 다리, 강한 그림자, 실험실 장비, 등) 내 경우 소프트웨어 수 있습니다 실수 그것 돌출부 움직임을 위해.외부 개체는 빨간색 다각형 또는 “제외 영역.” 그림으로 무시 될 수 있습니다. 빨간색 다각형 내부 추적 사용 되지 것입니다. 결과 저장 필터와 위젯 설정 되었습니다, 일단 동영상을 중지 하 고 처음부터 다시 시작 한 끝에 그것을 재생.참고: 전체 비디오 재생은, 일단 모든 비디오 프레임에 대 한 부속의 위치는 메모리에 저장 됩니다. 돌출부 위치 데이터를 파일에 저장, 오른쪽에 있는 “저장” 섹션을 확장 하 고 클릭 하십시오 “를 저장. CSV”버튼입니다. 다음 파일을 저장할 폴더를 선택 하십시오.참고:는 “저장을. CSV”버튼은.csv 파일에 처리 결과 저장할 것 이다. 기본적으로 사용자는 비디오 파일과 같은 폴더에.csv 파일을 저장 하려면 제공 됩니다 하 고 파일 이름 날짜 및 시간을 있을 것 이다. 결과.csv 파일은 방향 뿐만 아니라 안테나 각도 및 지배적인 분야를 포함 하 여 부속의 위치와 머리의 위치에 대 한 정보를 포함 하는 열 집합이 포함 됩니다. 각 열의 설명 온라인61제공 됩니다. 필요에 따라 사용 열 (s) 및 값 필드 저장 섹션에서 제목 ID 또는 실험 상황의 이름과 같은 기록 정보를.csv 파일에 추가 열 (이상 경우 쉼표로 구분 하 여)을 만들려고 합니다.참고: 열 상자에서 값의 첫 번째 열 머리글에 표시 됩니다 하 고 값 상자에 값을 첫 번째 열의 모든 행에 반복 됩니다. 일괄 처리참고: 소프트웨어는 일괄 처리에서 여러 개의 비디오 파일을 처리할 수 있습니다. 그러나, 사용자는 일괄 처리를 시작 하기 전에 각 비디오에 대 한 머리 위치 정보를 제공 해야 합니다. “비디오 파일” 섹션에서 오른쪽 패널에서 소프트웨어에 의해 순차적으로 처리 될 비디오 파일의 목록을 만들 수 있습니다 창을 열려면 “일괄 처리” 버튼을 클릭 합니다. “추가 더 많은 비디오 파일을 일괄 처리” 버튼을 사용 하 여 일괄 처리 목록에 포함 될 하나 이상의 비디오 파일을 선택 합니다. 필요에 따라 “CTRL” 또는 “SHIFT” 키를 사용 하 여 여러 개의 동영상을 동일한 위젯 매개 변수 집합을 사용 합니다를 선택 하.참고: 매개 변수 재사용을 위한 좋은 후보자가 다른 실험 조건 사이 이동 하지 같은 동물의 동영상의 집합은. 시작 “설정 센서 위치에 대 한 선택” 버튼을 클릭 하 여 선택한 동영상에 사용할 위젯 매개 변수를 설정 합니다. 안테나 센서, 치료 센서, 필터, 매개 변수를 조정 또는 섹션을 저장 하 고 “저장 매개 변수를 일괄” 완료 되 면을 클릭 합니다. 각 비디오에 대 한 매개 변수를 선택한 후 “처리 시작” 버튼을 클릭 하 여 일괄 처리를 시작 합니다.참고: 소프트웨어 순서는 그들이 일괄 처리 목록에 표시, 처리, 해당.csv 파일 비디오 파일은 같은 폴더에 저장 비디오 파일을 로드 합니다. 진행률 표시줄 맨 첫 번째 비디오를 완료 한 후 한 예상된 완료 시간을 제공할 것입니다.

Representative Results

아래 섹션에서는 예를 들어 안테나 각도의 줄거리는 소프트웨어의 데이터, 소프트웨어 정확성과 속도 인간 평가, 그리고 꿀 꿀벌 안테나 움직임의 프레 젠 테이 션에 의해 영향을 실험의 결과와 비교에서 생산 다른 한 냄새 R 소프트웨어62,63 분석을 수행 하 고 숫자 생성을 사용 되었다. 비디오 자습서 뿐만 아니라 분석 및 그림 세대 R 코드 온라인58찾을 수 있습니다. 소프트웨어 출력: 그림 3 은 순수 하 고 35 x 미네랄 오일 희석 버전 heptanal의 제시 하는 꿀벌의 동영상에서 소프트웨어에 의해 감지 안테나 각도의 5 개의 무작위로 선택 된 추적 및 heptanol, 뿐만 아니라 깨끗 한 공기. 그림 3: 5 SwarmSight에 의해 감지 안테나 각도의 흔적을 샘플. Y 축도, “0”가 바로 앞으로 악취 소스 동물 냄새 소스에서 가리키는 큰 값의 안테나 각도를 보여줍니다. Heptanol, heptanal, 그리고 그들의 35 미네랄 오일 희석 버전 뿐만 아니라, 깨끗 한 공기, x 0-회색 동안 단일 꿀 꿀벌 채집에 3600 ms 윈도우 적용 되었다. 왼쪽된 안테나는 빨간색, 파란색 표시 바로 표시 됩니다. 각 조건에서 5 개의 무작위 꿀벌 5 플롯에서 묘사 된다. 이 그림의 더 큰 버전을 보려면 여기를 클릭 하십시오. 소프트웨어 유효성 검사: 소프트웨어 안정적으로 안테나의 위치를 검색할 수 있습니다 확인을 인 간에 의해 위치한 안테나 위치는 소프트웨어에 의해 위치와 비교 되었다. 2 인간의 평가 425 비디오 프레임에 안테나와 코 끝을 찾을 하도록 요청 했다 (~ 14 비디오의 s). 사용자 정의 소프트웨어 모듈 자동으로 비디오 프레임, 고급 점자에 의해 표시 된 돌출부 위치를 기록 하 고 작업에 소요 하는 시간을 기록. 인간 및 소프트웨어 위치 값 간의 관계의 예로 겹쳐의 수직 좌표 추적 소프트웨어에 대 한 및 두 인간의 검색 된 위치에 대 한 하나의 안테나 그림 4A에 표시 됩니다. 두 채 표시 된 안테나 위치 사이의 거리 계산 되었고 “인간 간 거리입니다.” 라는 소프트웨어에 의해 감지 안테나 위치와 인간의 평가 의해 감지 하는 가장 가까운 위치 간의 거리 계산 되었고 “소프트웨어 가장 가까운 인간의 거리” (그림 4B) 라는. 그림 4: 인간의 평가와 비교. (A) 2 인간의 점자 및 425 비디오 프레임에 위치한 SwarmSight 안테나 팁입니다. 프레임에 의해 왼쪽된 안테나 팁 Y 좌표 인간의 평가 의해 발견 하 고 소프트웨어 겹쳐 있다. (B) 겹쳐 인간의 점자 (오렌지)와 소프트웨어 및 가장 가까운 인간의 평가자 값 (검정) 사이의 불일치 사이 프레임-의해-프레임 불일치 (비디오 픽셀에서 거리). (C) 인간 대 인간의 안테나 끝 위치 (오렌지)와 인간의 위치 (블랙) 대 소프트웨어. (D) 막대 그래프와 누적 분포 (점선)의 인간 대 인간의 프레임-의해-프레임 불일치 거리 대 소프트웨어 이 그림의 더 큰 버전을 보려면 여기를 클릭 하십시오. 인간의 간 거리는 10.9 평균 55.2 내에 픽셀 픽셀 프레임의 95%에서 81.6의 최대 값을 했다 픽셀. 소프트웨어-가장 가까운 인간의 거리는 8.0 평균 18.3 내에 픽셀 픽셀 프레임의 95%에서 49.0의 최대 값을 했다 px ( 그림 4D, 및 그림 4C거리 막대 그래프 참조). 5 픽셀은 안테나의 폭 약. 전반적으로, 인간 간 거리는 작업의 시작에서 프레임에 대 한 작은 되었고 작업의 두 번째 절반에 증가. 우리는이 둥 급 피로 때문 이었다을 의심 한다. 한편, 소프트웨어 가장 가까운 인간의 거리 수준 작업에 걸쳐 일정 한 남아 있었다. 소프트웨어 속도 인간의 평가와 정확도 비교: 인간 안테나 끝과 코 위치는 평균 속도로 0.52 초당 프레임 (fps)의 별. 인간의 fps를 예상 하려면 인간 (각 425) 별 프레임의 총 수는 그들이 작업에 소요 된 총 시간으로 분할 되었다 (873 s와 761 s). 소프트웨어는 듀얼 코어 PC에 윈도우 7에 평균 65 fps 게임에서 프레임을 평가. 높은 처리 속도와 정확도를 유사 하거나 인간의 점자 보다 더 나은, 단위 시간 당 약 125 인간의 점자의 작업을 수행 하는 소프트웨어를 기대 수 있습니다. 안테나 응답 냄새의 검출: 입증 하기 위해 곤충 운동에 중요 한 행동 차이 감지 하는 프로토콜을 사용할 수 있는, 우리가 두 개의 서로 다른 냄새 23 여성 꿀벌 대상이. 순수 heptanal 및 heptanol, 35, 두 냄새 및 제어, 깨끗 한 공기의 미네랄 오일 희석 x 4 각각 제시 했다 s (총에서 5 조건). 동영상, 위의 프로토콜에 설명 된 대로 SwarmSight 소프트웨어와 함께 처리 했다 고 안테나 각도 분석 (그림 5). 그림 5: 5 냄새 조건에 대 한 안테나 각도 수단과 밀도 열 지도. (A) 열 (어두운 중간 지역), 동안 전에 보여주는 안테나 각도 밀도 지도 그리고 heptanol, 공기, 그리고 여성 꿀벌을 heptanal odorants의 관리 후 (n = 23). 블랙 커브는 프레임 당 평균 안테나 각도 (두 안테나). 수평 라인은 사전 냄새 평균 (기준선) 각도. 말은 안테나 각도를 순수한 냄새 조건과 해당 변경 내용에 대 한 냄새 소스에서 기본 안테나 위치 (하단 플롯에서 붉은 클러스터)의 클러스터 note또한 “리바운드” 클러스터 냄새 결론 후에 그것의 명백한 발병 냄새 농도 의존 주의 (다른 4 개의 플롯에 클러스터 위치 참조). 밀도 열 지도 색 눈금은 모든 조건에서 임의의 하지만 유니폼. 전 냄새 의미에서 (B) 평균 각도 변경 (오류 막대 S.E.M). 공기를 제외한 모든 변경 내용이 중요 한 의미 (t- p 테스트 < 0.05). 이 그림의 더 큰 버전을 보려면 여기를 클릭 하십시오. 9 s 세그먼트의 3의 구성 된 비디오에서 비디오 프레임 3.6 냄새 발병 전에 s 냄새 프레 젠 테이 션의 s 및 2.4의 냄새 결론 후 모든 개인 및 조건 (300 프레임/세그먼트) 정렬 했다. 모든 개인의 두 안테나 각도의 프레임 단위 의미 각 조건에 대해 계산 되었고 라는 “말은 각도” (그림 5A, 검은 곡선). 각 조건에 대 한 개인에 걸쳐 냄새 발병 하기 전에 프레임의 말은 안테나 각도 계산 되었고 “사전 냄새 베이스 라인” (그림 5A, 얇은 수평 라인) 라고. 컨트롤을 제외 하 고 모든 조건에서 평균 각도 베이스 라인, 각 냄새 발병 (그림 5A, 0-3600 ms 지역에서 검은 곡선) 후 한번 750-1050 ms의 정점에서 증가. 1-표본 t시리즈를 사용 하 여 초기 평균 각 조건 피크 냄새-프레 젠 테이 션 평균 각도 시 개인의 두 안테나 수단을 비교 하 여 의미 (그림 5B)에 대 한 기준선에서 평균 변경 테스트-테스트 ( 샤 피로 정상 테스트 모든 조건에서 중요 하지). 기준선에서 평균 각도 변화는 26.9 ° 순수한 heptanal (평균 뾰족해지고 750 ms 냄새 발병 후), 0.2 M (990 ms)에서 heptanal에 대 한 21.1 ° (1050 ms의 경우)에 순수한 heptanol 19.6 ° 19.3 ° 0.2 M heptanol (에서 780 ms), 및 공기 제어 (피크) 3.45 °. 컨트롤을 제외 하 고 모든 조건에서 기준선에서 평균 각도 변화는 상당한 (Holm 조정 p < 0.05). 우리 주의 평균 각도 기준선 보다 희석된 odorants에 순수한 odorants에 대 한 응답에서을 반환 하는 데 시간이 오래 걸립니다 (저역 통과 필터링 된 평균 위한 냄새 발병 후 초기 3690 ms 돌아갑니다 순수 했으며 2940 ms 희석된 heptanol, heptanal, 반환 시간에 희석된 버전에 대 한 순수 하 고 3000 ms 4,260 ms). 열 지도 사용 하 여 시각화: 각 조건 했다 안테나 응답, 안테나 각도 밀도 열 지도 시각화 하기 위해 (그림 5A, 블루-레드 배경)를 생성 합니다. 조건 당 각각 10 s 비디오 세그먼트에 걸쳐 안테나 각도 가우시안 커널 (R 패키지 질량, kde2d 함수64) convolved 했다. 파란색 영역 빨간색 영역 안테나 각도의 높은 밀도 표시 하는 동안 안테나 각도, 낮은 밀도 보여줍니다. 순수한 heptanal 조건에 대 한 그림 5A 의 하단 음모에 열 지도 안테나 동작을 보여 줍니다. 지도 보여줍니다 전에 냄새 제시 (t < 0), 안테나 각도 밀도 분산 되어 상대적으로 균일 하 게 모든 각도. 약 1 s 후 냄새 발병 (t ~ 1000 ms), 파란색과 빨간색 클러스터의 한 쌍이 나타납니다. 지역 회색 빨간색, 안테나 더 발견 됐다 자주 보다 지역 파란색 음영. 블루 클러스터 안테나 작은 각도 (0도의 방향에 위치한 냄새 소스), 레드는 동안을 피하기 위해 경향이 나타냅니다 클러스터 나타냅니다 안테나 (냄새 소스)에서 더 큰 각도 선호. 빨간색 클러스터 냄새 프레 젠 테이 션 유지에 점차적으로 사라집니다. 또 다른 강렬한, 클러스터 덜 쓰 신 빨간색 나타납니다 약 1 냄새 결론 후 s. 우리는 두 번째 빨간색 클러스터 “리바운드 클러스터” 이름을합니다. 위의 말은 각도 복구 시간 일치, 우리 주의 리바운드 클러스터 이전 표시 것과 순수한 냄새에 대 한 보다 희석된 냄새에 대 한 덜 강렬.

Discussion

여기에 제시 된 메서드는 특별 한 동물 준비 또는 하드웨어를 필요로 하지 않고 곤충 안테나와 코 움직임의 실시간 추적을 수 있습니다.

제한 사항:

이러한 장점에도 불구 하 고 메서드의 몇 가지 제한 사항이 있습니다. 이 동물의 머리 운동, 위치 및 각 비디오에 대 한 동물의 방향을 선택 하는 사용자에 대 한 필요성에서에서 제한 된다 요구를 포함 Windows 컴퓨터 및 소프트웨어의 추적 하는 무 능력에 대 한 액세스를 요구 3 차원 (3D) 및 아래에 설명 된 일부 시각적으로 모호한 돌출부 위치 운동.

소프트웨어는 동물의 머리 장소에 고정 되어 비디오 동안 이동 하지 해야 합니다. 이전 작업⁴⁸^,⁴⁹^,^,⁵⁰⁵¹의 준비와 비슷합니다. 그러나 그것은 머리 회전의 자동 검색을 허용 하도록 소프트웨어를 수정할 수,,이 추가 처리 시간을 소비 하 고 오류의 새로운 소스를 소개 것. 수정 된 소프트웨어 제대로 머리 회전을 감지 한다면,이 것이 영향을 안테나 각도 그들의 계산 머리 회전 각도 기준으로. 현재, 사용자는 비디오에 한 번씩 머리 방향을 선택합니다. 이 이렇게, 동안 인간의 오류 없이 각도 계산 오류 때 최소화 머리 비디오 중에 이동할 수 없습니다.

소프트웨어에는 Windows 7 (또는 이상) 운영 체제 (OS)도 필요합니다. 목표는 소프트웨어를 보다 쉽게 설치, 설치, 및 프로그래밍 또는 정교한 컴퓨터 관리 기술 없이 사용자가 사용 하기 했다. 그것은 널리, 그리고 그것에 접근은 제한 하는 경우에서 windows 가상 컴퓨터 (예를 들어, 버추얼 박스, vm 웨어, 패 러 랠) 쉽게 만들 수 있기 때문에 대상 창 하기로. 운영 체제의이 선택은 크게 사용 하기 쉬운, 명령행 라인 무료 설치 프로그램을 통해 소프트웨어 설치를 간소화 하 고 다른 Os에 특정 버그를 피 한다.

소프트웨어는만 2 차원 공간에는 부속의 위치를 추적합니다. 곤충만 2D 좌표를 측정 하는 경우 중요 한 정보가 손실 됩니다 하는 것을 의미할 수도 있고 3 차원에서 그들의 안테나를 이동 알려져 있습니다. 동안 여러 카메라 또는 거울을 사용 하 여 3D 지역화에 필요한 추가 정보 수집에 도움이 수, 계산, 삼각 관계, 여 예상된 밖으로의 비행기 위치를 사용 하 여 가정 하는 안테나는 가능 하다 일정 길이의 선 세그먼트를 단일 하 고 카메라 비행기의 한쪽에만 이동 합니다. 꿀 꿀벌에 대 한이 가정 거친 예측 3d, 위치에 대 한 진정한 보유 하 고 있지만 반드시 다른 종 및 상황에 대 한 경우 되지 않을 것 이다.

안테나와 코 소프트웨어 올바르게 검색 하지 것입니다 팁 몇 가지 모호한 상황에서 위치. 동물 겹치도록, 비디오, 확장된 코 안테나 이동, 소프트웨어는 코 끝으로 가능성이 안테나의 끝을 감지 합니다. 그러나 안테나 각도, 것입니다 여전히 아마 계산 올바르게 (에서 겹치지 않는 부분). 마찬가지로, 안테나 팁 (즉, 양쪽에)에 동물의 머리 바로 위에 이동 하는 경우 다음 소프트웨어만 안테나는 머리의 외부에 표시 되는 부분을 감지 안테나의 이전 위치를 가정 하거나 가짜 감지 안테나 위치에로 비디오 잡음입니다. 두 상황에서 조차 인간의 점자 코 또는 머리에서 안테나를 분별 하는 어려움이 있다. 이 문제를 완화 하려면 원시 X 및 Y에 3 프레임, 대칭 회전 평균⁵⁷ 필터 적용 좋습니다 좌표는 소프트웨어에 의해 제작. 이 필터는 큰 과도 (단일 프레임) 위치 변동, 제거 하 고 더 긴 안테나 위치 움직임을 유지. 우리는 3 프레임 필터 넓은 필터 (예: 5, 11, 또는 15 프레임) 정확도 감소 하는 동안 필터, 보다 더 나은 수행을 발견 했다. 예를 들어 R 코드를 필터 및 비디오 자습서를 사용 하 여 온라인⁵⁸찾을 수 있습니다.

과학적인 도구로 값:

메서드를 빠르게 비용 효율적인 방식으로 움직임을 정확한 곤충 돌출부의 여부는 조사의 새로운 영역을 열어.

코 확장 반사 (%)은 조사 학습 및 곤충⁵⁹의 다양 한 메모리를 일반적으로 사용 되 행동 응답 이다. 비록 비디오 및 시 분석 코 움직임⁶⁵^,⁶⁶에 훨씬 더 복잡 한 토폴로지를 보여 이전 연구 일반적으로 당의 이진 확장 또는 아닙니다 측정에 의존 했습니다. 여기 메서드는 높은 시간적, 공간적 해상도에 코의 급속 한 정량화를 수 있습니다.

냄새에 대 한 응답에서 곤충 안테나 움직임 제대로 이해 하 고. 이 이유 하나는 안테나 너무 빠르게 안테나 운동 데이터를 비용 효율적인, 자동화 된 수단 사용할 수 되지 않은 이동 하는 경향이. 여기에 제시 된 방법은 빠르게 많은 조건에서 곤충의 큰 숫자에 대 한 안테나 운동 데이터를 가져오는 데 사용 될 수 있습니다. 이 수 원조, 예를 들어 안테나 움직임 다양 한 자극, 특히 휘발성 냄새에 대 한 응답에서 간의 매핑을 조사 연구. 30 Hz에서 프레임을 캡처하는 카메라를 사용 하 여 소프트웨어를 사용할 수 있는 더듬이 운동 역학 특성 15 Hz (Nyquist 한계). 더 높은 주파수에서 특성, 필요한 경우 더 높은 캡처 속도 (예를 들어, 60 또는 120 fps)와 카메라 활용 수 있습니다. 그러나, 더 빠른 컴퓨터는 실시간으로 더 높은 fps 비디오를 처리 하는 데 필요할 수 있습니다. 우리는 냄새, 그리고 어쩌면 일부 개별 냄새의 클래스 특성 타고 난 더듬이 움직임을가지고 추측. 경우 해당 클래스 또는 화합물 발견, 알 수 없는 수 냄새 또는 그들의 클래스 일반인된 곤충의 더듬이 움직임에서 검출 될 수 있는. 이러한 매핑이 존재 하는 경우 충분 한 안테나 운동 데이터와 첨단 기계 학습 알고리즘의 조합 그것을 폭로 하기 시작 한다. 또한, 어떻게 그 매핑, 개발 하는 동안 양식을 학습에 대 한 응답 변경 또는 함께 방해 유전자 개입 후 각 시스템의 기능에 대 한 통찰력을 제안할 수 있었다.마지막으로, 복잡 한 환경에서 냄새에 대 한 최적의 샘플링 방법을 계시 하는 경우이 작품 냄새의 인공 감지에 대 한 통찰력을 줄 수 있었다.

미래의 작업:

여기, 우리가 보였다는 안테나 운동 데이터 빠르게 획득 하 고 수 분석: 중요 한 동작 응답 우리의 소프트웨어에 의해 생성 된 데이터를 사용 하 여 검색 하 고 추가 조사의 여러 영역을 발견 했다.

자극을 elicited 안테나의 시간 과정 각도에서 편차와 기준선 복구와 어떤 자극 결론 리바운드 효과 그것의 의존 냄새 농도 조사 하 고 수학적으로 모델링 될 수 있습니다. 또한, appetitive에 의해 유도 된 안테나의 변경 또는 혐오 컨디셔닝 또한 소프트웨어 평가 될 수 있다.

냄새의 더 나은 차별화는 또한 탐험 수 있습니다. 이 연구에서는 순수에 냄새와 희석된 버전 x 35 elicited 비슷한 응답: 안테나, 평균, 빠르게 냄새 소스에서 철수 하 고 몇 초 후 사전 냄새 기준선에 반환에 등장. 우리는 심지어 희석된 버전 꿀 꿀벌에 대 한 매우 강한 후 각 자극을 되었을 수 있습니다 추측 하고있다. True 인 경우 농도의 광범위 한 범위 만약 더듬이 응답 차별화 냄새 확인을 사용할 수 있습니다. 또한, 보다 정교한 분석 더 나은 다른 냄새에 대 한 응답에서 더듬이 움직임에 차이 계시 할지도 모른다. 우리는이 원고를 SwarmSight 웹사이트⁶⁷에 관심 있는 연구자 수에 숫자를 생성 하는 데 사용 하는 데이터 파일을 만들었습니다.

또한,이 원고를의 범위 밖에 소프트웨어는 이중 거울 (예를 들어 그림 1D 참조) 45 ° 각도와 챔버에 배치 하는 동물의 동영상 처리를 연장 수 있습니다. 이 정확 하 게 지역화 하 고는 부속 및 3D 공간에서 그들의 움직임을 추적 사용 될 수 있습니다. 그러나, 3 차원 추적을 위한 알고리즘 해야 효율적으로: (a) (b) 미러 각도, 결함에 대 한 올바른 사이드 미러 중 하나에 표시 하 고 (c) 카메라 때문에 왜곡에 대 한 계정 때 여러 안테나 사이 구분 포지셔닝.

마지막으로, 위치 정확도에 추가 상승은 칼만 필터⁶⁸, 모델의 사용을 통해 실현 될 수 및 돌출부 속도 및 가속도 예측된 위치를 제한 하려면 같은 물리적 상태 정보를 활용. 그러나, 정확도에 어떤 이익 든 지 어떤 추가 계산 때문에 속도 감소에 대하여 평가 되어야 한다.

결론:

많은 곤충은 그들의 지역 환경에 휘발성 화합물을 적극적으로 안테나를 사용 합니다. 더듬이 움직임 패턴 곤충 냄새 인식 및 컨디셔닝, 독성 화합물, 그리고 유전 변경에 의해 영향에 대 한 통찰력을 제공할 수 있습니다. 마찬가지로, 코 움직임 냄새 인식 및 그것의 변조를 평가 하기 위해 사용 되었습니다. 그러나, 급속 하 게 고해상도 돌출부 운동 데이터의 대량을 얻기 어려운 되었습니다. 여기, 프로토콜 및 소프트웨어 같은 작업을 자동화 하는 설명 되어 있습니다. 요약 하자면, 우리 생성 하 고 시연 어떻게 저렴 한 하드웨어의 조합, 일반적인 동물 준비, 그리고 오픈 소스 소프트웨어 빠르게 고해상도 곤충 돌출부 운동 데이터를 가져오는 데 사용할 수 있습니다. 소프트웨어, 그것은 속도와 정확성, 인간의 점자를 능가 하는 어떻게의 출력 데이터를 분석 하 고 시각화 수 어떻게 출력 표시 했다.

Divulgations

The authors have nothing to disclose.

Acknowledgements

JB, SMC, 및 RCG SMC에 NIH R01MH1006674와 RCG NIH R01EB021711에 의해 지원 되었다. CMJ와 BHS NSF 아이디어 연구소 프로젝트에 의해 지원 되었다에 “” BHS를 후 각 코드를 크래킹. 우리가이 연구에서 그들의 지원에 대 한 카일 Steinmetz, 린 Oboyle, 그리고 레이첼 Halby 감사 합니다.

Materials

Insect harness	N/A	N/A	Use materials needed for Protocol sections 1-3.1.1 of Smith & Burden (2014)
Odor delivery source	N/A	N/A	Use materials needed for Protocol section 3 of Smith & Burden (2014)
Vacuum source	N/A	N/A	Use materials needed for Protocol section 3 of Smith & Burden (2014)
LED connected to odor delivery source	N/A	N/A	Use materials needed for Protocol section 3 of Smith & Burden (2014)
Low Voltage Soldering Iron	Stannol	Low Voltage Micro Soldering Iron 12V, 8W
DC Power Supply	Tekpower	HY152A
White sheet of paper	Georgia-Pacific	998606	Any white sheet of paper can be used as alternative
Tripod	AmazonBasics	50-Inch Lightweight Tripod	Optional
Camera	Genius	WideCam F100	FLIR Flea3 or another camera with manual focus can be used.
Camera software	Genius	N/A	Software comes with camera. On MacOS, Photo Booth app can be used to record videos.
Camera shutter speed software	Genius	N/A	Genius camera software allows shutter speed setting. In Mac OS, iGlasses by ecamm can be used instead: http://www.ecamm.com/mac/iglasses/
Windows Operating System	Microsoft	Windows 7 Professional	Versions 7 or later are compatible. Oracle VirtualBox, Parallels Desktop, or VMWare Fusion can be used to create a Windows virtual machine in MacOS environments.
SwarmSight software	SwarmSight	Appendage Tracking	Download from http://SwarmSight.org
R software	R Project	R 3.4.0	Download from: https://cran.r-project.org/bin/windows/base/
R Studio software	RStudio	RStudio Desktop	Download from: https://www.rstudio.com/products/rstudio/download/

References

Hansson, B. S. . Insect Olfaction. , (1999).
Masson, C., Mustaparta, H. Chemical information processing in the olfactory system of insects. Physiol Rev. 70 (1), 199-245 (1990).
Firestein, S. How the olfactory system makes sense of scents. Nature. 413 (6852), 211-218 (2001).
Schneider, D. Insect antennae. Annu Rev Entomol. 9 (1), 103-122 (1964).
Kaissling, K. Chemo-electrical transduction in insect olfactory receptors. Annu Rev Neurosci. 9 (1), 121-145 (1986).
Nakagawa, T., Vosshall, L. B. Controversy and consensus: noncanonical signaling mechanisms in the insect olfactory system. Curr Opin Neurobiol. 19 (3), 284-292 (2009).
Heisenberg, M. What do the mushroom bodies do for the insect brain? An introduction. Learn Memory. 5 (1), 1-10 (1998).
Zars, T. Behavioral functions of the insect mushroom bodies. Curr Opin Neurobiol. 10 (6), 790-795 (2000).
Heisenberg, M. Mushroom body memoir: from maps to models. Nature Rev Neurosci. 4 (4), 266-275 (2003).
Pelletier, Y., McLEOD, C. D. Obstacle perception by insect antennae during terrestrial locomotion. Physiol Entomol. 19 (4), 360-362 (1994).
Suzuki, H. Antennal movements induced by odour and central projection of the antennal neurones in the honey-bee. J Insect Physiol. 21 (4), 831-847 (1975).
Wachowiak, M. All in a sniff: olfaction as a model for active sensing. Neuron. 71 (6), 962-973 (2011).
Bruce, T. J., Wadhams, L. J., Woodcock, C. M. Insect host location: a volatile situation. Trends Plant Sci. 10 (6), 269-274 (2005).
Lunau, K., Wacht, S. Optical releasers of the innate proboscis extension in the hoverfly Eristalis tenax L.(Syrphidae, Diptera). J Comp Physiol [A]. 174 (5), 575-579 (1994).
Szucsich, N. U., Krenn, H. W. Morphology and function of the proboscis in Bombyliidae (Diptera, Brachycera) and implications for proboscis evolution in Brachycera. Zoomorphology. 120 (2), 79-90 (2000).
Harder, L. D. Measurement and estimation of functional proboscis length in bumblebees (Hymenoptera: Apidae). Can J Zool. 60 (5), 1073-1079 (1982).
Hobbs, G. A. Further studies on the food-gathering behaviour of bumble bees (Hymenoptera: Apidae). Canadian Entomol. 94 (05), 538-541 (1962).
Krenn, H. W. Functional morphology and movements of the proboscis of Lepidoptera (Insecta). Zoomorphology. 110 (2), 105-114 (1990).
Krenn, H. W. Feeding mechanisms of adult Lepidoptera: structure, function, and evolution of the mouthparts. Annu Rev Entomol. 55, 307-327 (2010).
Hepburn, H. R. Proboscis extension and recoil in Lepidoptera. J Insect Physiol. 17 (4), 637-656 (1971).
Ramírez, G., Fagundez, C., Grosso, J. P., Argibay, P., Arenas, A., Farina, W. M. Odor Experiences during Preimaginal Stages Cause Behavioral and Neural Plasticity in Adult Honeybees. Front Behav Neurosci. 10, (2016).
Takeda, K. Classical conditioned response in the honey bee. J Insect Physiol. 6 (3), 168-179 (1961).
Bitterman, M. E., Menzel, R., Fietz, A., Schäfer, S. Classical conditioning of proboscis extension in honeybees (Apis mellifera). J Comp Psychol. 97 (2), 107 (1983).
Lambin, M., Armengaud, C., Raymond, S., Gauthier, M. Imidacloprid-induced facilitation of the proboscis extension reflex habituation in the honeybee. Arch Insect Biochem Physiol. 48 (3), 129-134 (2001).
Masterman, R., Smith, B. H., Spivak, M. Brood odor discrimination abilities in hygienic honey bees (Apis mellifera L.) using proboscis extension reflex conditioning. J Insect Behav. 13 (1), 87-101 (2000).
Rix, R. R., Christopher Cutler, G. Acute Exposure to Worst-Case Concentrations of Amitraz Does Not Affect Honey Bee Learning, Short-Term Memory, or Hemolymph Octopamine Levels. J Econ Entomol. 110 (1), 127-132 (2017).
Urlacher, E., et al. Measurements of Chlorpyrifos Levels in Forager Bees and Comparison with Levels that Disrupt Honey Bee Odor-Mediated Learning Under Laboratory Conditions. J Chem Ecol. 42 (2), 127-138 (2016).
Charbonneau, L. R., Hillier, N. K., Rogers, R. E. L., Williams, G. R., Shutler, D. Effects of Nosema apis, N. ceranae, and coinfections on honey bee (Apis mellifera) learning and memory. Sci Rep. 6, (2016).
Urlacher, E., Devaud, J. -. M., Mercer, A. R. C-type allatostatins mimic stress-related effects of alarm pheromone on honey bee learning and memory recall. PLOS ONE. 12 (3), e0174321 (2017).
Eiri, D. M., Nieh, J. C. A nicotinic acetylcholine receptor agonist affects honey bee sucrose responsiveness and decreases waggle dancing. J Exp Biol. 215 (12), 2022-2029 (2012).
Liang, C. -. H., Chuang, C. -. L., Jiang, J. -. A., Yang, E. -. C. Magnetic Sensing through the Abdomen of the Honey bee. Sci Rep. 6, (2016).
Erber, J., Pribbenow, B., Bauer, A., Kloppenburg, P. Antennal reflexes in the honeybee: tools for studying the nervous system. Apidologie. 24, 283 (1993).
Erber, J., Kierzek, S., Sander, E., Grandy, K. Tactile learning in the honeybee. J Comp Physiol [A]. 183 (6), 737-744 (1998).
Erber, J., Pribbenow, B. Antennal Movements in the Honeybee: How Complex Tasks are Solved by a Simple Neuronal System. Prerational Intelligence: Adaptive Behavior and Intelligent Systems Without Symbols and Logic, Volume 1, Volume 2 Prerational Intelligence: Interdisciplinary Perspectives on the Behavior of Natural and Artificial Systems, Volume 3. , 109-121 (2000).
McAfee, A., Collins, T. F., Madilao, L. L., Foster, L. J. Odorant cues linked to social immunity induce lateralized antenna stimulation in honey bees (Apis mellifera L). Sci Rep. 7, (2017).
Dötterl, S., Vater, M., Rupp, T., Held, A. Ozone Differentially Affects Perception of Plant Volatiles in Western Honey Bees. J Chem Ecol. 42 (6), 486-489 (2016).
Wang, Z., et al. Honey Bees Modulate Their Olfactory Learning in the Presence of Hornet Predators and Alarm Component. PLOS ONE. 11 (2), e0150399 (2016).
Søvik, E., Plath, J. A., Devaud, J. -. M., Barron, A. B. Neuropharmacological Manipulation of Restrained and Free-flying Honey Bees, Apis mellifera. J Vis Exp. (117), e54695 (2016).
Fang, Y., Du, S., Abdoola, R., Djouani, K., Richards, C. Motion Based Animal Detection in Aerial Videos. Procedia Computer Science. 92, 13-17 (2016).
Miller, B., Lim, A. N., Heidbreder, A. F., Black, K. J. An Automated Motion Detection and Reward System for Animal Training. Cureus. 7 (12), (2015).
Birgiolas, J., Jernigan, C. M., Smith, B. H., Crook, S. M. SwarmSight: Measuring the temporal progression of animal group activity levels from natural-scene and laboratory videos. Behav Res Methods. , (2016).
Stern, U., Zhu, E. Y., He, R., Yang, C. -. H. Long-duration animal tracking in difficult lighting conditions. Sci Rep. 5, 10432 (2015).
Macrì, S., Mainetti, L., Patrono, L., Pieretti, S., Secco, A., Sergi, I. A tracking system for laboratory mice to support medical researchers in behavioral analysis. Engineering in Medicine and Biology Society (EMBC), 2015 37th Annual International Conference of the IEEE. , 4946-4949 (2015).
Crall, J. D., Gravish, N., Mountcastle, A. M., Combes, S. A. BEEtag: a low-cost, image-based tracking system for the study of animal behavior and locomotion. PLOS ONE. 10 (9), e0136487 (2015).
York, J. M., Blevins, N. A., McNeil, L. K., Freund, G. G. Mouse short-and long-term locomotor activity analyzed by video tracking software. J Vis Exp. (76), e50252 (2013).
Noldus, L. P., Spink, A. J., Tegelenbosch, R. A. EthoVision: a versatile video tracking system for automation of behavioral experiments. Behav Res Methods. 33 (3), 398-414 (2001).
Egnor, S. E. R., Branson, K. Computational Analysis of Behavior. Annu Rev Neurosci. 39 (1), 217-236 (2016).
Cholé, H., Junca, P., Sandoz, J. -. C. Appetitive but not aversive olfactory conditioning modifies antennal movements in honeybees. Learn Memory. 22 (12), 604-616 (2015).
Shen, M., et al. Interactive tracking of insect posture. Pattern Recognit. 48 (11), 3560-3571 (2015).
Mujagić, S., Würth, S. M., Hellbach, S., Dürr, V. Tactile conditioning and movement analysis of antennal sampling strategies in honey bees (apis mellifera l). J Vis Exp. (70), (2012).
Shen, M., Szyszka, P., Deussen, O., Galizia, C. G., Merhof, D. Automated tracking and analysis of behavior in restrained insects. J Neurosci Methods. 239, 194-205 (2015).
Cucchiara, R., Grana, C., Piccardi, M., Prati, A. Detecting moving objects, ghosts, and shadows in video streams. IEE Trans Pattern Anal Mach. 25 (10), 1337-1342 (2003).
Shaw, J. R. QuickFill: An efficient flood fill algorithm. The Code Project. , (2004).
Zhang, H., Wu, K. A vehicle detection algorithm based on three-frame differencing and background subtraction. Computational Intelligence and Design (ISCID), 2012 Fifth International Symposium on Computational Intelligence and Design. 1, 148-151 (2012).
Elgammal, A., Harwood, D., Davis, L. Non-parametric Model for Background Subtraction. Computer Vision – ECCV 2000. , 751-767 (2000).
Zeileis, A., Grothendieck, G. zoo: S3 infrastructure for regular and irregular time series. arXiv preprint math/0505527. , (2005).
Smith, B. H., Burden, C. M. A Proboscis Extension Response Protocol for Investigating Behavioral Plasticity in Insects: Application to Basic, Biomedical, and Agricultural Research. J Vis Exp. (91), e51057 (2014).
How to split a video or audio file with VLC Player. Darktips Available from: https://darktips.com/split-video-audio-file/ (2012)
Team, R. s. . RStudio: integrated development for R. , (2015).
Venables, W. N., Ripley, B. D. . Modern Applied Statistics with S-PLUS. , (2013).
Smith, B. H., Menzel, R. An Analysis of Variability in the Feeding Motor Program of the Honey Bee; the Role of Learning in Releasing a Modal Action Pattern. Ethology. 82 (1), 68-81 (1989).
Smith, B. H. An analysis of blocking in odorant mixtures: an increase but not a decrease in intensity of reinforcement produces unblocking. Behavioral neuroscience. 111 (1), 57 (1997).
. SwarmSight Antenna Tracking CSV files Available from: https://github.com/JustasB/SwarmSight/tree/master/Examples/Appendage%20Tracking/Birgiolas%20et.%20al.%20(2015) (2017)
Kalman, R. E. A New Approach to Linear Filtering and Prediction Problems. J Basic Eng. 82 (1), 35-45 (1960).

Play Video

PDF

DOI

DOWNLOAD MATERIALS LIST

Citer Cet Article

Birgiolas, J., Jernigan, C. M., Gerkin, R. C., Smith, B. H., Crook, S. M. SwarmSight: Real-time Tracking of Insect Antenna Movements and Proboscis Extension Reflex Using a Common Preparation and Conventional Hardware. J. Vis. Exp. (130), e56803, doi:10.3791/56803 (2017).