SwarmSight: Real-time Tracking of Insect Antenna Movements and Proboscis Extension Reflex Using a Common Preparation and Conventional Hardware

Justas Birgiolas; Christopher M. Jernigan; Richard C. Gerkin; Brian H. Smith; Sharon M. Crook

doi:10.3791/56803

JoVE Journal > Neuroscience

Please note that all translations are automatically generated. Click here for the English version.

Neuroscience

SwarmSight: Monitoraggio in tempo reale dei movimenti di Antenna dell'insetto e proboscide estensione Reflex utilizzando una preparazione comune e Hardware convenzionali

Published: December 25, 2017

doi:

10.3791/56803

Justas Birgiolas¹, Christopher M. Jernigan¹, Richard C. Gerkin¹, Brian H. Smith¹, Sharon M. Crook^1,2

¹School of Life Sciences,Arizona State University, ²School of Mathematical and Statistical Sciences,Arizona State University

Summary

Questo protocollo descrive i passaggi per utilizzare il nuovo software, SwarmSight, per il monitoraggio di frame-by-frame di posizioni dell’antenna e proboscide dell’insetto dal video fotocamera web convenzionale utilizzando computer convenzionali. Il software gratuito, open-source elabora frame circa 120 volte più veloce di esseri umani e si esibisce al meglio di precisione umano.

Abstract

Molti insetti scientificamente e sul piano agricolo importanti utilizzano antenne per rilevare la presenza di composti chimici volatili ed estendere la loro proboscide durante l’allattamento. La capacità di rapidamente ottenere misurazioni ad alta risoluzione dei movimenti naturali di antenna e proboscide e valutare come cambiano in risposta alle manipolazioni chimiche, dello sviluppo e genetiche può aiutare la comprensione del comportamento degli insetti. Estendendo il nostro lavoro precedente sulla valutazione aggregata sciame di insetti o movimenti di gruppo animale da naturale e laboratorio video utilizzando il software di analisi video SwarmSight, abbiamo sviluppato un modulo di romanzo, gratuito e open source software, SwarmSight appendice Tracking (SwarmSight.org) per frame-by-frame rilevamento delle posizioni dell’antenna e proboscide dell’insetto da video fotocamera web convenzionale utilizzando computer convenzionali. Il software elabora frame circa 120 volte più veloce di esseri umani, si esibisce al meglio di precisione umano e, utilizzando 30 fotogrammi al secondo video (fps), puoi catturare antennali dinamiche fino a 15 Hz. Il software è stato utilizzato per monitorare la risposta antennale delle API del miele per due odori e trovato significative retrazioni antennali medie lontano dalla fonte di odore circa 1 s dopo la presentazione di odore. Abbiamo osservato calore densità di antenna posizione mappa formazione del cluster e cluster e dire la dipendenza di angolo sulla concentrazione di odore.

Introduction

Maggior parte degli artropodi spostare antenne o altri appendice a campione ambientale spunti e segnali nel tempo e nello spazio. Gli animali possono utilizzare le antenne per navigare il loro ambiente rilevando segnali sensoriali ad esempio sostanze chimiche volatili e stimoli gustativi e meccaniche¹^,²^,³^,⁴. In insetti, le antenne contengono recettori sensoriali che si legano a sostanze chimiche volatili⁴^,⁵^,⁶ e trasmettono questo segnale tramite neuroni sensoriali olfattivi al cervello centrale regioni¹^,⁷ ^,⁸^,⁹. Gli insetti possono regolare la posizione di antenne per modulare le informazioni in entrata odori⁴^,¹⁰^,¹¹. Questa modulazione facilita le risposte comportamentali attivamente informate per gli odori e loro pennacchi¹²^,¹³.

Molti insetti, tra cui imenotteri (ad es., miele di API e bombi), lepidotteri (ad es., farfalle) e Ditteri (ad es., mosche e zanzare), tra gli altri, nutrono, estendendo la loro proboscide¹⁴ ^, ¹⁵ ^, ¹⁶ ^, ¹⁷ ^, ¹⁸ ^, ¹⁹ ^, ²⁰ ^, ²¹. estensione della proboscide è stato utilizzato in modo affidabile in passato per una varietà di apprendimento e memoria attività²²^,²³^,²⁴^,²⁵^,²⁶^, ²⁷^,²⁸^,²⁹^,³⁰^,³¹. Allo stesso modo, la valutazione quantitativa del movimento di antenne con alta risoluzione temporale e spaziale potrebbe produrre idea della relazione tra lo stimolo, il comportamento e lo stato interno dell’animale. Lavoro infatti precedente ha indicato come i movimenti antennali contengono una ricca quantità di informazioni sul rilevamento di ape del miele dell’ambiente e come i movimenti cambiano con³²^,³³^,³⁴^{, di apprendimento} ³⁵^,³⁶^,³⁷^,³⁸.

Nell’ultimo decennio, metodi per l’osservazione del comportamento animale sono stati notevolmente accelerati dai progressi nelle videocamere ad alta risoluzione, velocità e algoritmi di visione della macchina di elaborazione del computer. Compiti come animale rilevamento, conteggio, rilevamento e analisi di preferenza di posto sono state favorite con sofisticato software in grado di elaborare video del comportamento animale ed Estratto di pertinente misura³⁹^,⁴⁰^, ⁴¹^,⁴²^,⁴³^,⁴⁴^,⁴⁵^,⁴⁶^,⁴⁷.

Queste tecnologie hanno favorito anche il monitoraggio dei movimenti di antenna e proboscide dell’insetto. È possibile per valutatori umani utilizzare un cursore del mouse per registrare manualmente la posizione delle antenne. Tuttavia, mentre questo metodo può essere preciso, il compito è che richiede tempo e fatica e la disattenzione umana può provocare risultati inaffidabili. Preparazione e attrezzature speciali può essere utilizzati per ridurre la necessità di software complessi. Ad esempio, un’unica installazione usato una macchina fotografica ad alta velocità e dipinto le punte delle antenne per rilevare il movimento dell’antenna⁴⁸. Agli utenti possono anche essere richiesto di selezionare fotogrammi chiave di video per assistere il software nel rilevare la posizione dell’antenna e proboscide⁴⁹. Un altro approccio rilevato i due cluster più grande movimento per identificare le antenne, ma non rileva la posizione di proboscide⁵⁰. Un altro pacchetto software in grado di rilevare posizioni dell’antenna e proboscide, ma richiede circa 7,5 s di tempo di elaborazione per telaio⁵¹, che potrebbe essere proibitivo per gli studi di osservazione in tempo reale o a lungo termine. Infine, potrebbe essere possibile personalizzare pacchetti software commerciali (ad esempio, EthoVision) per eseguire il compito⁴⁶, ma i costi delle licenze e formazione possono essere proibitivi.

Con il metodo qui descritto, abbiamo prolungato il nostro precedente lavoro sul movimento analisi software⁴¹ per monitorare le posizioni delle antenne dell’insetto e proboscide con i seguenti obiettivi: (1) nessun requisito per hardware speciale o preparazione animale complessa, (2). telaio di elaborazione in tempo reale (30 fps o più veloce) su un computer convenzionale, (3) facilità d’uso e (4) open-source, codice facilmente estendibile.

Il metodo novello risultante e software open-source, SwarmSight appendice Tracking, non richiedono la pittura dei suggerimenti di antenne, può utilizzare una fotocamera web consumer per catturare video e fotogrammi video processi a 30-60 fps su un computer convenzionale ( Figura 1). Il software prende i file video come input. L’utente individua la posizione della testa dell’insetto nel video e, dopo l’elaborazione, viene prodotto un file di (CSV) di valori separati da virgola con le posizioni delle antenne e proboscide. Il software è in grado di leggere centinaia di formati video diversi (inclusi i formati prodotti dalla maggior parte delle fotocamere digitale) attraverso l’uso della libreria FFmpeg⁵².

Figura 1: uscita Setup e software animale. (A) A Raccoglitore di ape miele con la sua testa e corpo trattenuto in un imbrago. (B) odore sorgente è collocata davanti all’animale, una videocamera è posizionata sopra, e una fonte di vuoto è collocata dietro l’animale. (C), l’antenna punta e proboscide variabili rilevate dal software SwarmSight dal video. (D) l’utente posiziona il sensore antenna sull’animale e regola i parametri di filtro. Il software rileva le posizioni dell’antenna e proboscide (anelli gialli).Clicca qui per visualizzare una versione più grande di questa figura.

In primo luogo, il corpo di un insetto e la sua testa sono trattenuti in un cablaggio tale che i movimenti dell’antenna e proboscide sono facilmente osservati (Figura 1A). Una fonte di odore è posta di fronte l’insetto, con una sorgente di vuoto posizionata dietro, per rimuovere gli odori dall’aria e minimizzare i potenziali effetti dell’adattamento sensoriale (Figura 1B). Una telecamera web convenzionale è posizionata sopra la testa dell’insetto su un treppiede. Un LED può essere posizionato all’interno della telecamera per indicare quando viene presentato l’odore.

Figura 2: sistema di coordinate Antenna. X, Y i valori utilizzano il sistema di coordinate dei video, dove nell’angolo superiore sinistro è l’origine e l’aumento di valori X e Y quando si spostano verso il basso a destra. Gli angoli sono espressi in gradi rispetto alla parte anteriore della testa (solitamente la fonte degli odori). Un valore “0” indica che la linea formata dal flagello dell’antenna sia rivolta direttamente di fronte l’animale. Tutti gli angoli sono positivi, tranne quando una punta dell’antenna nella direzione opposta (ad esempio, punti di flagello destra a sinistra). Clicca qui per visualizzare una versione più grande di questa figura.

Dopo le riprese, viene aperto il file video con il software di SwarmSight, dove l’utente posiziona il widget di sensore Antenna (Figura 1, quadrato nero) sopra la testa dell’insetto e avvia la riproduzione dei video. Quando i risultati vengono salvati, il file CSV contiene la X, Y posizioni dell’antenna suggerimenti, gli angoli dell’antenna rispetto la parte anteriore della testa (Figura 2) e la proboscide X, posizione Y. Inoltre, una metrica di settore dominante viene calcolata per ogni antenna. Gli spettacoli di metriche che dei cinque settori 36 gradi che circonda ogni antenna conteneva il maggior numero di punti ritiene probabili che le antenne e possono essere utili se le metriche di angolo di posizione dell’antenna non sono affidabili a causa di video rumoroso o altrimenti problematico.

Brevemente, il software funziona utilizzando un insieme di movimento filtri⁵³ e un algoritmo di riempimento rilassato inondazione⁵⁴. Per trovare punti di probabile dell’antenna, vengono utilizzati due filtri: una differenza di 3 frame consecutive filtro⁴¹^,⁵⁵ e un filtro di⁵⁶ mediana-sfondo sottrazione. Un filtro di colore distanza soglia viene utilizzato per il rilevamento di proboscide. Il top 10% dei punti di ogni filtro vengono combinati e un algoritmo di riempimento di inondazione che ispeziona punti contigui con lacune fino a 2 pixel (px) individua punti estremi. Parallelamente telaio decodifica, elaborazione e pipeline di rendering e ripartizione del flusso di dati del filtro raggiunge ad alte prestazioni ottimizzato di memoria. Il crudo valori x e y delle coordinate prodotti dal software sono elaborati con un 3-telaio rotolamento filtro mediano⁵⁷ (Vedi discussione). Le istruzioni per scaricare il codice sorgente completo possono essere trovate online⁵⁸.

Di seguito è un protocollo per preparare una raccoglitrice di ape miele per antenna di rilevamento. Un protocollo simile potrebbe essere utilizzato per monitorare i movimenti di antenna/proboscide di qualsiasi altro insetto. Nella sezione risultati, descriviamo un esempio di output di traccia dell’antenna che viene rilevato dal software, il confronto tra l’uscita del software verifica eseguita da valutatori umani e la valutazione del movimento di antenne in risposta a cinque odoranti.

Protocol

1. catturare e sfruttare le API del miele Seguire la procedura di protocollo 1 a 3.1.1 di Smith e peso59. 2. preparare l’animale imbracatura e videocamera Nascondere le gambe applicando nastro sopra la parte superiore del tubo imbracatura, ispezionando visivamente che le gambe non possono essere visto in movimento dall’alto. Trattenere la testa applicando cera riscaldata alla parte posteriore della testa dell’insetto. Controllare visivamente che la testa è fissa e non mobile. A questo punto, le antenne e le mandibole dovrebbero essere soltanto appendici libere di muoversi. Massimizzare il contrasto tra le antenne e sfondo del video inserendo un foglio bianco di carta sotto il fascio di insetto. Per ridurre al minimo la necessità di regolare più tardi la fotocamera, contrassegnare la posizione dell’imbracatura insetto sulla carta e quindi posizionare nuovi individui nella stessa posizione. Fissare la posizione della telecamera utilizzando un treppiede o un titolare di webcam per posizionare la fotocamera sopra la testa dell’insetto. Utilizzando il software della fotocamera, in anteprima il video e lo zoom per ingrandire l’immagine di testa, permettendo per una distanza di ~ 20-30% su tutti i lati del video. Assicurarsi che gli oggetti in movimento soli nella vista della videocamera sono le antenne o la proboscide/mandibole e riposizionare la fotocamera o l’animale, se necessario.Nota: SwarmSight controlla per il movimento in pixel che circondano la testa. Movimento estraneo nelle immediate vicinanze della testa causata da oggetti quali gambe, ombre, ventilatori o gli esseri umani può confondere il software e introdurre ulteriore rumore. Ridurre al minimo le ombre dell’antenna regolando illuminazione ambientale.Nota: Il software può tollerare alcune ombre, ma per ottenere i migliori risultati, dovrebbero essere mantenuti al minimo. Impedire regolazioni dell’esposizione automatica della fotocamera utilizzando software di velocità dell’otturatore della fotocamera per mantenere il tempo di esposizione della fotocamera costante tutto il video. Utilizzando il software, regolare la velocità dell’otturatore per massimizzare il contrasto (scena video non troppo chiara o troppo scura), regolando il cursore’ esposizione’ sotto ‘Impostazioni Webcam.’Nota: Le istruzioni sopra riportate sono specifiche per la webcam e il software utilizzato. Questi dovranno essere adattati se vengono utilizzate altre webcam. Posizionare la fonte di consegna degli odori e assicurarsi che non ostruisca la vista della videocamera controllando il feed video macchina fotografica. Assicurare che una sorgente di vuoto è collocata sul lato opposto a rimuovere gli odori di stimolo. Posizionare un LED, o qualche altro indicatore visivo che cambia luminosità per indicare la consegna di odore, all’interno dell’inquadratura.Nota: Il valore di luminosità del LED viene salvato dal software e può essere utilizzato per determinare i frame esatti quando la consegna di odore comincia e finisce. 3. ogni individuo in condizioni sperimentali della pellicola Film che ogni condizione individuale di insetto e prova in altro video file registrazione ogni combinazione di singoli test separatamente oppure utilizzando video editing software per dividere un file video in file più piccoli.Nota: Il software richiede all’utente di individuare la posizione della testa in ogni video e per la testa di rimanere fisso. Se la testa si muove, sarà introdotto ulteriore rumore. La funzione elaborazione Batch di SwarmSight permette all’utente di impostare rapidamente la posizione della testa per più video e presuppone che la testa dell’insetto rimane fissa per tutta la durata di ogni file video. Istruzioni su come dividere file video lungo possono essere trovate online60. 4. video analisi Scaricare e installare il modulo ‘Antenna Tracking’ seguendo i passaggi forniti online58.Nota: Video tutorial che descrive come utilizzare il software sono disponibili sul sito pure. Aprire un file video che mostra un animale girato utilizzando il pulsante ‘Sfoglia’. Posizionamento del sensore antenna e sensore di trattamento Una volta caricato il video, posizionate il widget di “Antenna sensore” rettangolare sopra la testa dell’animale, utilizzando le icone di rotazione e la scala per allineare il widget con la testa (Vedi ad esempio Figura 1 ). Posizionare il widget di “Trattamento sensore” circolare sopra il LED che indica quando è stato presentato l’odore o stimolo.Nota: Il sensore di trattamento registrerà il valore di luminosità del pixel al centro del widget per ogni fotogramma. A partire di elaborazione video Premere il tasto “Play” (triangolo nero) in basso a sinistra per iniziare l’analisi dei telai.Nota: I punti rilevati di antenna e proboscide probabili sarà evidenziata in giallo. Gli anelli gialli mostrerà la posizione delle punte delle appendici. Gli angoli (dove 0 è direttamente di fronte l’animale) dell’antenna e la lunghezza di estensione di proboscide verranno mostrati nel widget “Modello” in basso a sinistra (Vedi Figura 1). Il widget di “Settori dominanti” in basso a destra mostra l’intensità relativa dei cinque settori di 36 gradi dove è stati rilevati il maggior numero di punti dell’antenna. I settori più scuri contengono il maggior numero di punti, mentre il più leggero hanno il minor numero. Verrà mostrato il numero di settore (1-5) con più punti negli angoli inferiori del widget (Vedi Figura 1). Regolazione soglie di filtro e l’aggiunta di zone di esclusione Per modificare la sensibilità dei filtri, regolare i cursori nella sezione “Filtri”, sul pannello di destra.Nota: A seconda delle condizioni di illuminazione e la velocità di movimento generale delle appendici, sensibilità filtro diverso sarà ottimale. L’utente può trovare i valori ottimali i valori di regolazione e osservando le aree evidenziate nel widget sensore Antenna. Quando un set ideale di sensibilità viene trovato, verranno evidenziate solo le appendici. Si consiglia per avanzare rapidamente ad altre parti del video per garantire che la sensibilità del filtro sono ottimali lì, troppo. Facoltativamente, per ignorare gli oggetti estranei, sul pannello di destra, espandere la sezione di “Antenna sensore”, scegliere “Aggiungi zona di esclusione” pulsante (vedere Figura 1) e fare clic su un insieme di punti per formare un poligono rosso, il cui contenuto verrà ignorato dalla software.Nota: Se il video contiene movimento estraneo, e il movimento è all’interno zona del widget sensore Antenna (ad es., muovendo le gambe, forti ombre, attrezzature di laboratorio, ecc.), il software può scambiarla per il movimento dell’annesso.Gli oggetti estranei possono essere ignorati dal disegno di poligoni rossi o “Zone di esclusione”. Nulla all’interno di un poligono rosso non si utilizzerà per l’inseguimento. Salvataggio dei risultati Una volta che i filtri e i widget sono stati istituiti, fermare il video, riavviarlo dall’inizio e giocare fino alla fine.Nota: Una volta che ha giocato tutto il video, le posizioni delle appendici per tutti i fotogrammi video saranno memorizzate nella memoria. Per salvare i dati di posizione dell’annesso a un file, espandere la sezione di “Salva” sulla destra e fare clic su “Salva in. Pulsante “CSV”. Quindi scegli una cartella per salvare il file.Nota: Il “Salva in. Pulsante CSV”salverà i risultati dell’elaborazione in un file CSV. Per impostazione predefinita, l’utente verrà proposto di salvare il file CSV nella stessa cartella del file video e avrà una data e un’ora come parte del nome del file. Il file CSV risultante conterrà un insieme di colonne che contengono informazioni sulla posizione delle appendici, tra cui gli angoli dell’antenna e settori dominanti, così come orientamento e posizione della testa. La descrizione di ogni colonna viene fornita online61. Facoltativamente, utilizzare le colonne (s) e i campi di valori nella sezione Salva per creare una colonna aggiuntiva (o più se separati da virgole) nel file CSV per registrare le informazioni, ad esempio oggetto ID o il nome di una condizione sperimentale.Nota: Il valore nella casella colonne verrà visualizzato nell’intestazione della prima colonna e il valore nella casella valore/i verrà ripetuto in tutte le righe della prima colonna. Elaborazione batchNota: Il software può elaborare file video multipli in un batch. Tuttavia, l’utente deve fornire le informazioni di posizione testa per ogni video prima di iniziare l’operazione. Nel pannello di destra, nella sezione “File Video”, fare clic sul pulsante “Batch Processing” per aprire una finestra che permette di creare un elenco di file video per essere elaborati sequenzialmente dal software. Utilizzare il pulsante “Aggiungere più Video file di Batch” per selezionare uno o più file video da includere nell’elenco dei processi batch. Facoltativamente, è possibile utilizzare i tasti “CTRL” o “SHIFT” per selezionare più video che utilizzerà lo stesso insieme di parametri di widget.Nota: Buoni candidati per il riutilizzo di parametro sono insiemi di video dello stesso animale che non è stato spostato tra diverse condizioni sperimentali. Iniziare a impostare i parametri di widget da utilizzare per i video selezionati facendo clic sul pulsante “Set sensore posizioni per selezionati”. Regolare i parametri in Antenna sensore, sensore di trattamento, filtri, o salvare sezioni e fare clic su “Salva parametri di Batch” quando fatto. Dopo aver selezionati i parametri per ogni video, è possibile avviare il processo batch facendo clic sul pulsante “Start Processing”.Nota: Il software caricherà i file video nell’ordine in cui appaiono nell’elenco batch, elaborarli e salvare i corrispondenti file CSV nella stessa cartella dove si trovano i file video. Una barra di avanzamento nella parte superiore fornirà un tempo stimato di finitura dopo il primo video è stato completato.

Representative Results

Nelle sezioni seguenti sono un esempio trama di angoli di antenne prodotte dai dati del software, confronto dell’accuratezza del software e velocità con valutatori umani e i risultati di un esperimento dove miele ape antenna movimento è influenzato dalla presentazione di diversi odori. R software62,63 è stato utilizzato per eseguire l’analisi e generare le figure. Codice R per analisi e figura generazione così come il video tutorial è reperibile online58. Uscita del software: La figura 3 Mostra selezionate casualmente cinque tracce di antenna angoli rilevati dal software dai video delle api mellifere presentati con versioni diluito l’olio minerale puro e 35 x di heptanal e heptanol, come pure aria pulita. Figura 3: cinque campione tracce di antenne angoli rilevati da SwarmSight. Asse y Mostra antenna angolo in gradi, dove “0” è direttamente di fronte l’animale, verso la fonte di odore, con valori più grandi che punta lontano dalla fonte di odore. Heptanol, heptanal e loro 35 x versioni diluito l’olio minerale, così come aria pulita, sono state applicate durante il grigio 0 – 3.600 ms windows di raccoglitrici di ape miele singolo. Sinistra dell’antenna è contrassegnata in rosso, contrassegnato in blu. Cinque API casuale, uno da ogni condizione, sono raffigurate nelle cinque trame. Clicca qui per visualizzare una versione più grande di questa figura. Convalida del software: Per convalidare che il software può rilevare in modo affidabile le posizioni delle antenne, posizioni dell’antenna si trova dagli esseri umani sono stati confrontati con le posizioni situate dal software. Due valutatori umani è sono chiesto di individuare le punte dell’antenna e proboscide in 425 fotogrammi video (~ 14 s del video). Un modulo software personalizzato registrato le posizioni di appendice segnate dai valutatori, automaticamente avanzati fotogrammi video e registrata la quantità di tempo speso per l’attività. Come un esempio di corrispondenza tra i valori umani e software-trova, sovrapposto coordinate verticale tracce di un’antenna per il software e per le due posizioni rilevate umane vengono mostrate nella Figura 4A. La distanza tra contrassegnato antenna posizioni i due valutatori è stata computata e denominata “Distanza inter-umana”. La distanza tra la posizione dell’antenna rilevato dal software e la posizione più vicina rilevato dai valutatori umani è stata calcolata e denominata “Software-minima distanza umana” (Figura 4B). Figura 4: confronto con valutatori umani. (A) due valutatori umani e suggerimenti di antenna SwarmSight situato a 425 fotogrammi video. Il frame-by-frame sinistro antenna punta Y coordinate trovano dai valutatori umani e software si sovrappongono. (B) sovrapposto frame-by-frame disaccordo (la distanza in pixel video) tra valutatori umani (arancione) e disaccordo tra software e valore umano rater più vicino (nero). (C) umani vs posizioni delle antenne umane punta (arancione) e software vs posizioni umani (nero). (D) istogrammi e distribuzioni cumulative (tratteggiate) di umani contro l’essere umano e software vs distanze umano frame-by-frame disaccordo. Clicca qui per visualizzare una versione più grande di questa figura. Distanza inter-umana era 10,9 px in media, all’interno di 55,2 px nel 95% dei telai, e aveva un valore massimo di 81,6 px. Il Software-minima distanza umana era 8.0 px in media, all’interno di 18,3 px nel 95% dei telai, e aveva un valore massimo di 49,0 px (Vedi gli istogrammi di distanza in Figura 4e Figura 4). 5 px era approssimativamente la larghezza di un’antenna. Nel complesso, la distanza inter-umano era piccola per i fotogrammi all’inizio dell’attività e aumentato nella seconda metà dell’attività. Sospettiamo che questo era dovuto alla fatica di rater. Nel frattempo, livelli di Software-minima distanza umana è rimasto costanti durante l’attività. Velocità del software e confronto di precisione con valutatori umani: Gli esseri umani nominale posizioni punta e proboscide delle antenne ad una velocità media di 0,52 fotogrammi al secondo (fps). Per stimare umano fps, il numero totale di fotogrammi valutato dagli esseri umani (425) è stato diviso per il tempo totale che hanno speso per l’attività (873 s e 761 s). Il software valutato i fotogrammi a 65 fps in media su un PC con Windows 7: Dual-Core. Insieme con alta velocità di elaborazione e precisione simili o migliori rispetto umani valutatori, si può prevedere il software per eseguire il lavoro di circa 125 valutatori umani per unità di tempo. Rilevamento della risposta di Antenna agli odori: Per dimostrare che il protocollo può essere usato per rilevare significative differenze di comportamento in movimento dell’insetto, siamo sottoposti 23 mellifere femmina a due diversi odori. Pure heptanal e heptanol, 35 x olio minerale diluizioni del due odori e aria pulita, come il controllo, sono stati presentati ciascuno per 4 s (cinque condizioni in totale). Video, come descritto nel protocollo di cui sopra, sono stati elaborati con il software SwarmSight, e gli angoli di antenna analizzati (Figura 5). Figura 5: calore di mezzi e densità angolo Antenna mappe per cinque condizioni odore. (A) calore mappe di densità di angolo dell’antenna visualizzando prima, durante (regione centrale più scura) e dopo la somministrazione di heptanol, aria e heptanal odoranti di API del miele femmina (n = 23). Curve di nero sono per frame antenna Media angoli (entrambe le antenne). Linee orizzontali sono angoli media pre-odore (baseline). Si noti il cluster di posizioni delle antenne preferito (cluster di rosso nella trama di fondo) lontano dalla fonte di odore per puro odore le condizioni e le modifiche corrispondenti per l’angolo dell’antenna media.Si noti inoltre il cluster “rimbalzo” dopo la conclusione di odore e la sua dipendenza apparente inizio sulla concentrazione di odore (Vedi percorso di cluster nelle altre quattro trame). Scala di colore di densità calore mappa è arbitrario ma uniforme attraverso tutte le condizioni. (B) cambiamento di angolo medio dalla media pre-odore (barre di errore Sangiorgi). Fatta eccezione per aria, tutto dire cambiamenti erano significativi (t-test p < 0.05). Clicca qui per visualizzare una versione più grande di questa figura. Fotogrammi video da 9 segmenti di s del video costituito da 3 s prima dell’inizio di odore, 3.6 s di presentazione di odore e 2,4 s dopo la conclusione di odore sono stati stati allineati attraverso tutti gli individui e le condizioni (300 fotogrammi/segmento). I mezzi per frame di entrambi gli angoli dell’antenna di tutti gli individui sono stati calcolati per ogni condizione e chiamati “Significa angoli” (Figura 5A, curve nere). Gli angoli di antenna media dei telai prima della comparsa di odore attraverso gli individui per ogni condizione erano calcolati e chiamati “Pre-odore linee di base” (Figura 5A, sottili righe orizzontali). In tutte le condizioni, ad eccezione di controllo, gli angoli medi aumentato dalle linee di base, ogni picco una volta 750-1.050 ms dopo l’insorgenza di odore (Figura 5A, curve nere 0 – 3.600 ms della regione). I cambiamenti medi dalle linee di base sono stati testati per il significato (figura 5B) confrontando i mezzi di due-antenna degli individui al momento picco odore-presentazione angolo medio di ciascuna condizione alla media della linea di base utilizzando una serie di 1-campione t-test ( Normalità Shapiro test non significativo in tutte le condizioni). Il cambiamento di angolo medio rispetto al basale era 26,9 ° per puro heptanal (media ha alzato a 750 ms dopo l’inizio di odore), 21,1 ° per 0,2 M heptanal (a 990 ms), 19,6 ° per puro heptanol (a 1.050 ms), 19,3 ° per heptanol di 0,2 M (a 780 ms) e 3,45 ° per il controllo aereo (nessun picco). In tutte le condizioni, ad eccezione di controllo, il cambiamento di angolo medio rispetto al basale è stata significativo (Holm regolata p < 0.05). Notiamo che l’angolo medio richiede più tempo per tornare ai valori basali in risposta a odoranti puro rispetto a odoranti diluito (passa-basso filtrato significa ritornato ai valori basali 3.690 ms dopo l’inizio di odore per puro e a 2.940 ms per heptanol diluito; heptanal, ritorno volte erano 4.260 ms per puro e 3.000 ms per versioni diluite). Visualizzazione tramite mappe di calore: Per visualizzare le risposte dell’antenna, antenna angolo densità mappe di calore per ogni condizione sono stati generati (Figura 5A, sfondo blu-rosso). Angoli di antenna attraverso i segmenti video di 10 s per ogni individuo a condizione erano convoluzione con un kernel gaussiano (pacchetto R massa, kde2d funzione64). Aree blu mostrano basse densità degli angoli dell’antenna, mentre aree rosse mostrano alte densità di angoli dell’antenna. La mappa di calore nella trama inferiore della Figura 5A per la condizione di heptanal pura viene illustrato il comportamento dell’antenna. La mappa mostra che prima che l’odore è presentato (t < 0), la densità di angolo dell’antenna è distribuita relativamente uniformemente attraverso tutte le angolazioni. Circa 1 s dopo l’inizio di odore (t ~ 1.000 ms), un paio di mazzi blu e rossi appare. In rosso sfumato di aree, le antenne sono state trovate più frequentemente che in aree ombreggiate blu. Il cluster blu indica che antenne tendevano ad evitare più piccoli angoli (fonte degli odori era situato in direzione di 0 gradi), mentre il rosso cluster indica che antenne preferivano maggiore angoli (dalla fonte degli odori). Il cluster rosso scomparirà gradualmente come la presentazione di odore è mantenuta. Un rosso, anche se meno intensa, cluster è presente circa 1 s dopo la conclusione di odore. Chiamiamo il secondo cluster rosso “Cluster di rimbalzo”. Coerente con i tempi di recupero angolo medio sopra, notiamo che i cluster di rimbalzo sembrano apparire all’inizio e sono meno intensi per odori diluiti rispetto per puri odori.

Discussion

Il metodo presentato qui consente di monitoraggio in tempo reale dei movimenti di antenna e proboscide dell’insetto senza richiedere speciali preparazioni di animali o dell’hardware.

Limitazioni:

Nonostante questi vantaggi, ci sono alcune limitazioni del metodo. Questi includono il requisito che la testa dell’animale è limitata dal movimento, la necessità per l’utente di selezionare la posizione e l’orientamento dell’animale per ogni video, il requisito di avere accesso a un computer Windows e l’incapacità del software per tenere traccia movimento in tre dimensioni (3D) e in alcune posizioni di appendice visivamente ambigui descritti di seguito.

Il software richiede che la testa dell’animale è fissa e non si muove durante il video. Questo è simile ai preparativi del precedente lavoro⁴⁸^,⁴⁹^,⁵⁰^,⁵¹. È possibile modificare il software per consentire il rilevamento automatico delle rotazioni Cape, tuttavia, questo sarebbe consumare ulteriore tempo di elaborazione e introdurre una nuova fonte di errore. Se il software modificato dovesse rilevare la rotazione della testa in modo non corretto, questo interesserebbe gli angoli di antenne, come loro calcolo è relativa all’angolo di rotazione della testa. Attualmente, l’utente seleziona l’orientamento della testa una volta per ogni video. Questo approccio, mentre non senza errore umano, minimizza gli errori di calcolo angolo quando la testa non è consentita spostare durante il video.

Il software richiede anche un sistema di operativo Windows 7 (o versioni successivo) (OS). L’obiettivo era di rendere il software facile da installare, configurare e utilizzare dagli utenti senza competenze di amministrazione di computer di programmazione o sofisticato. Abbiamo deciso di destinazione Windows perché è ampiamente disponibile, e nei casi in cui l’accesso ad esso è limitato, possono essere create facilmente macchine virtuali (ad es., VirtualBox, VMware, Parallels) con Windows. Questa scelta di OS notevolmente semplifica l’installazione del software mediante l’utilizzo di un programma di installazione facile da usare, command-line-gratis ed evita i bug specifici per sistemi operativi.

Il software tiene traccia solo la posizione degli annessi nello spazio 2D. Gli insetti sono conosciuti a spostare la loro antenna in 3D, che potrebbe significare che le informazioni importanti sono persi quando vengono misurate coordinate solo 2D. Anche l’uso di più telecamere o specchi potrebbe aiutare a raccogliere le informazioni aggiuntive necessarie per la localizzazione 3D, è possibile calcolare, con l’uso di relazioni trigonometriche, una posizione di fuori-di-piano stimata da supponendo che le antenne sono singoli segmenti di linea di lunghezza costante e muovere solo su un lato del piano macchina fotografica. Per le API, questo presupposto vale per ottenere stime approssimative per la posizione in 3D, ma non è necessariamente il caso per altre specie e situazioni.

Il software non rileva correttamente le antenne e la proboscide suggerimento località in alcune situazioni ambigue. Se un animale si muove un’antenna affinché, nel video, si sovrappone una proboscide estesa, il software rileverà probabilmente la punta dell’antenna come la punta della proboscide. L’angolo dell’antenna, tuttavia, ancora probabilmente sarà calcolata correttamente (dalla parte non sovrapposte). Allo stesso modo, se le punte dell’antenna si sposta direttamente sopra la testa dell’animale (cioè, non sui lati) quindi il software potrebbe solo rilevare la parte dell’antenna che è visibile di fuori di testa, si presuppone la precedente posizione dell’antenna o rilevare spurio rumore video come posizione dell’antenna. In entrambe le situazioni, anche umani valutatori hanno difficoltà discernere l’antenna dalla proboscide o la testa. Per attenuare questo problema, si consiglia di applicare un filtro mediano⁵⁷ rotolamento 3-telaio, simmetrica a crudo X e Y coordinate prodotte dal software. Questo filtro rimuove le fluttuazioni grandi transitoria (fotogramma singolo) posizione e conserva più movimenti di posizione dell’antenna. Abbiamo trovato che il filtro 3-telaio eseguito meglio di nessun filtro, mentre i filtri più ampia (ad es., 5, 11 o 15 fotogrammi) ridotta precisione. Codice di esempio R che utilizza il filtro e un video tutorial può essere trovato online⁵⁸.

Valore come strumento scientifico:

La disponibilità di un metodo per ottenere rapidamente i movimenti precisi dell’auricola dell’insetto in maniera economicamente vantaggiosa ha il potenziale per aprire nuove aree di indagine.

Proboscide estensione reflex (PER) è una risposta comportamentale comunemente usata per studiare l’apprendimento e la memoria di una varietà di insetti⁵⁹. Gli studi precedenti hanno generalmente invocata una misura estesa-o-non binaria del PER, anche se analisi elettromiografiche e video hanno mostrato topologie più complesse a proboscide movimenti⁶⁵^,⁶⁶. Il metodo qui consente rapida quantificazione dei movimenti di proboscide in alte risoluzioni temporali e spaziali.

Movimenti dell’antenna dell’insetto in risposta agli odori sono capiti male. Uno dei motivi è che le antenne tendono a muoversi così rapidamente che un mezzo conveniente, automatizzato per ottenere dati di movimento dell’antenna non è stato disponibile. Il metodo presentato qui potrebbe essere utilizzato per ottenere rapidamente dati di movimento dell’antenna per un gran numero di insetti in un gran numero di condizioni. Questo potrebbe aiutare, ad esempio, i ricercatori indagando il mapping tra movimenti di antenna in risposta a vari stimoli, in particolare volatili odori. Utilizzando telecamere che catturano fotogrammi a 30 Hz, il software può essere utilizzato per caratterizzare le dinamiche di movimento antennali fino a 15 Hz (limite di Nyquist). Se è necessaria la caratterizzazione a frequenze più alte, telecamere con più alti tassi di cattura (ad es., 60 o 120 fps) potrebbero essere utilizzati. Tuttavia, un computer più veloce può essere necessario elaborare video fps superiore in tempo reale. Speculiamo che classi di odori e forse anche alcuni singoli odori, avere movimenti antennali innati caratteristici. Se tali classi o composti potrebbero essere scoperto, sconosciuto odori o loro classe potrebbe essere rilevato dal movimento antennale degli insetti non addestrati. Se tale mapping esiste, quindi la combinazione di sufficienti dati di movimento dell’antenna e macchina d’avanguardia algoritmi di apprendimento dovrebbe cominciare a scoprirlo. Inoltre, come quello tracciato cambia in risposta all’apprendimento, forme durante lo sviluppo, o viene interrotto con interventi genetici potrebbero offrire comprensione nelle funzioni del sistema olfattivo.Infine, questo lavoro potrebbe dare visione artificiale rilevamento di odori se rivela i metodi di campionamento ottimale per gli odori in ambienti complessi.

Lavori futuri:

Qui, abbiamo mostrato che dati di movimento dell’antenna possono essere rapidamente acquisiti e analizzati: le risposte del comportamento significativo possono essere rilevate dai dati generati dal nostro software, e sono state individuate diverse aree di indagine successiva.

I corsi di tempo di stimolo-suscitata antenna angolo deviazioni da e recupero al basale e qualsiasi effetto di rimbalzo di stimolo-conclusione e sua dipendenza dalla concentrazione di odore può essere studiati e modellati matematicamente. Inoltre, eventuali modifiche dei movimenti dell’antenna indotta da appetitiva o che ha avversione condizionata può essere valutato anche con il software.

Migliore differenziazione di odori può anche essere esplorata. In questo studio, gli odori, in puro sia diluite versioni: 35x ha suscitato risposte simili: le antenne, in media, è sembrato rapidamente ritirarsi lontano dalla fonte di odore e tornare alle linee di base pre-odore dopo pochi secondi. Speculiamo che anche le versioni diluite potrebbero essere stato molto forti stimoli olfattivi per le API del miele. Se true, un più ampio intervallo di concentrazioni potrebbe essere utilizzato per determinare se le risposte antennali differenziano gli odori. Inoltre, analisi più sofisticate possono meglio rivelare differenze nei movimenti antennali in risposta a diversi odori. Abbiamo fatto i file di dati utilizzati per generare le figure in questo manoscritto disponibile ai ricercatori interessati sul sito Web di SwarmSight⁶⁷.

Inoltre, mentre si è fuori della portata di questo manoscritto, il software potrebbe essere esteso per elaborare video di animali inseriti negli alloggiamenti con dual specchi inclinati a 45° (Vedi Figura 1 per esempio). Questo potrebbe essere utilizzato per localizzare con precisione e di traccia le appendici ed il loro movimento nello spazio 3D. Tuttavia, gli algoritmi per tracking 3D sarebbero stato necessario in modo efficiente: (a) evitare ambiguità tra più antenne quando sono visibili in uno degli specchi laterali, (b) corrette per imperfezioni negli angoli dello specchio e (c) rappresentano le distorsioni a causa della macchina fotografica posizionamento.

Infine, ulteriori aumenti di esattezza di posizione potrebbe essere realizzato attraverso l’uso di un Kalman filter⁶⁸, quali modelli e utilizza le informazioni di stato fisico come appendice velocità e accelerazione per vincolare i percorsi previsti. Tuttavia, le plusvalenze in precisione dovrebbero essere valutate contro eventuali riduzioni in velocità a causa di ulteriori calcoli.

Conclusione:

Molti insetti utilizzano antenne per campionare attivamente composti volatili nei loro ambienti locali. Modelli in movimenti antennali possono fornire la comprensione nella percezione di odore dell’insetto e come è influenzato da condizionata, composti tossici e le alterazioni genetiche. Allo stesso modo, proboscide movimenti sono stati utilizzati per valutare la percezione di odore e la sua modulazione. Tuttavia, è stato difficile ottenere rapidamente grandi quantità di dati di spostamento ad alta risoluzione dell’annesso. Qui, un protocollo e il software è descritto che consente di automatizzare tale compito. In sintesi, abbiamo creato e ha dimostrato come la combinazione di hardware non costoso, una preparazione comune animale e il software open-source può essere utilizzati per ottenere rapidamente i dati di movimento ad alta risoluzione dell’auricola dell’insetto. L’output del software, come che supera umani valutatori in velocità e precisione, e come possono essere analizzati e visualizzati i dati di output sono stati indicati.

Disclosures

The authors have nothing to disclose.

Acknowledgements

JB, SMC e RCG sono stati supportati da NIH R01MH1006674 di SMC e NIH R01EB021711 a RCG. CMJ e BHS sono stati supportati dal progetto laboratorio di NSF idee su “spezzare il codice olfattivo” a BHS. Ringraziamo Kyle Steinmetz, Taryn Oboyle e Rachael Halby per la loro assistenza nella conduzione di questa ricerca.

Materials

Insect harness	N/A	N/A	Use materials needed for Protocol sections 1-3.1.1 of Smith & Burden (2014)
Odor delivery source	N/A	N/A	Use materials needed for Protocol section 3 of Smith & Burden (2014)
Vacuum source	N/A	N/A	Use materials needed for Protocol section 3 of Smith & Burden (2014)
LED connected to odor delivery source	N/A	N/A	Use materials needed for Protocol section 3 of Smith & Burden (2014)
Low Voltage Soldering Iron	Stannol	Low Voltage Micro Soldering Iron 12V, 8W
DC Power Supply	Tekpower	HY152A
White sheet of paper	Georgia-Pacific	998606	Any white sheet of paper can be used as alternative
Tripod	AmazonBasics	50-Inch Lightweight Tripod	Optional
Camera	Genius	WideCam F100	FLIR Flea3 or another camera with manual focus can be used.
Camera software	Genius	N/A	Software comes with camera. On MacOS, Photo Booth app can be used to record videos.
Camera shutter speed software	Genius	N/A	Genius camera software allows shutter speed setting. In Mac OS, iGlasses by ecamm can be used instead: http://www.ecamm.com/mac/iglasses/
Windows Operating System	Microsoft	Windows 7 Professional	Versions 7 or later are compatible. Oracle VirtualBox, Parallels Desktop, or VMWare Fusion can be used to create a Windows virtual machine in MacOS environments.
SwarmSight software	SwarmSight	Appendage Tracking	Download from http://SwarmSight.org
R software	R Project	R 3.4.0	Download from: https://cran.r-project.org/bin/windows/base/
R Studio software	RStudio	RStudio Desktop	Download from: https://www.rstudio.com/products/rstudio/download/

References

Hansson, B. S. . Insect Olfaction. , (1999).
Masson, C., Mustaparta, H. Chemical information processing in the olfactory system of insects. Physiol Rev. 70 (1), 199-245 (1990).
Firestein, S. How the olfactory system makes sense of scents. Nature. 413 (6852), 211-218 (2001).
Schneider, D. Insect antennae. Annu Rev Entomol. 9 (1), 103-122 (1964).
Kaissling, K. Chemo-electrical transduction in insect olfactory receptors. Annu Rev Neurosci. 9 (1), 121-145 (1986).
Nakagawa, T., Vosshall, L. B. Controversy and consensus: noncanonical signaling mechanisms in the insect olfactory system. Curr Opin Neurobiol. 19 (3), 284-292 (2009).
Heisenberg, M. What do the mushroom bodies do for the insect brain? An introduction. Learn Memory. 5 (1), 1-10 (1998).
Zars, T. Behavioral functions of the insect mushroom bodies. Curr Opin Neurobiol. 10 (6), 790-795 (2000).
Heisenberg, M. Mushroom body memoir: from maps to models. Nature Rev Neurosci. 4 (4), 266-275 (2003).
Pelletier, Y., McLEOD, C. D. Obstacle perception by insect antennae during terrestrial locomotion. Physiol Entomol. 19 (4), 360-362 (1994).
Suzuki, H. Antennal movements induced by odour and central projection of the antennal neurones in the honey-bee. J Insect Physiol. 21 (4), 831-847 (1975).
Wachowiak, M. All in a sniff: olfaction as a model for active sensing. Neuron. 71 (6), 962-973 (2011).
Bruce, T. J., Wadhams, L. J., Woodcock, C. M. Insect host location: a volatile situation. Trends Plant Sci. 10 (6), 269-274 (2005).
Lunau, K., Wacht, S. Optical releasers of the innate proboscis extension in the hoverfly Eristalis tenax L.(Syrphidae, Diptera). J Comp Physiol [A]. 174 (5), 575-579 (1994).
Szucsich, N. U., Krenn, H. W. Morphology and function of the proboscis in Bombyliidae (Diptera, Brachycera) and implications for proboscis evolution in Brachycera. Zoomorphology. 120 (2), 79-90 (2000).
Harder, L. D. Measurement and estimation of functional proboscis length in bumblebees (Hymenoptera: Apidae). Can J Zool. 60 (5), 1073-1079 (1982).
Hobbs, G. A. Further studies on the food-gathering behaviour of bumble bees (Hymenoptera: Apidae). Canadian Entomol. 94 (05), 538-541 (1962).
Krenn, H. W. Functional morphology and movements of the proboscis of Lepidoptera (Insecta). Zoomorphology. 110 (2), 105-114 (1990).
Krenn, H. W. Feeding mechanisms of adult Lepidoptera: structure, function, and evolution of the mouthparts. Annu Rev Entomol. 55, 307-327 (2010).
Hepburn, H. R. Proboscis extension and recoil in Lepidoptera. J Insect Physiol. 17 (4), 637-656 (1971).
Ramírez, G., Fagundez, C., Grosso, J. P., Argibay, P., Arenas, A., Farina, W. M. Odor Experiences during Preimaginal Stages Cause Behavioral and Neural Plasticity in Adult Honeybees. Front Behav Neurosci. 10, (2016).
Takeda, K. Classical conditioned response in the honey bee. J Insect Physiol. 6 (3), 168-179 (1961).
Bitterman, M. E., Menzel, R., Fietz, A., Schäfer, S. Classical conditioning of proboscis extension in honeybees (Apis mellifera). J Comp Psychol. 97 (2), 107 (1983).
Lambin, M., Armengaud, C., Raymond, S., Gauthier, M. Imidacloprid-induced facilitation of the proboscis extension reflex habituation in the honeybee. Arch Insect Biochem Physiol. 48 (3), 129-134 (2001).
Masterman, R., Smith, B. H., Spivak, M. Brood odor discrimination abilities in hygienic honey bees (Apis mellifera L.) using proboscis extension reflex conditioning. J Insect Behav. 13 (1), 87-101 (2000).
Rix, R. R., Christopher Cutler, G. Acute Exposure to Worst-Case Concentrations of Amitraz Does Not Affect Honey Bee Learning, Short-Term Memory, or Hemolymph Octopamine Levels. J Econ Entomol. 110 (1), 127-132 (2017).
Urlacher, E., et al. Measurements of Chlorpyrifos Levels in Forager Bees and Comparison with Levels that Disrupt Honey Bee Odor-Mediated Learning Under Laboratory Conditions. J Chem Ecol. 42 (2), 127-138 (2016).
Charbonneau, L. R., Hillier, N. K., Rogers, R. E. L., Williams, G. R., Shutler, D. Effects of Nosema apis, N. ceranae, and coinfections on honey bee (Apis mellifera) learning and memory. Sci Rep. 6, (2016).
Urlacher, E., Devaud, J. -. M., Mercer, A. R. C-type allatostatins mimic stress-related effects of alarm pheromone on honey bee learning and memory recall. PLOS ONE. 12 (3), e0174321 (2017).
Eiri, D. M., Nieh, J. C. A nicotinic acetylcholine receptor agonist affects honey bee sucrose responsiveness and decreases waggle dancing. J Exp Biol. 215 (12), 2022-2029 (2012).
Liang, C. -. H., Chuang, C. -. L., Jiang, J. -. A., Yang, E. -. C. Magnetic Sensing through the Abdomen of the Honey bee. Sci Rep. 6, (2016).
Erber, J., Pribbenow, B., Bauer, A., Kloppenburg, P. Antennal reflexes in the honeybee: tools for studying the nervous system. Apidologie. 24, 283 (1993).
Erber, J., Kierzek, S., Sander, E., Grandy, K. Tactile learning in the honeybee. J Comp Physiol [A]. 183 (6), 737-744 (1998).
Erber, J., Pribbenow, B. Antennal Movements in the Honeybee: How Complex Tasks are Solved by a Simple Neuronal System. Prerational Intelligence: Adaptive Behavior and Intelligent Systems Without Symbols and Logic, Volume 1, Volume 2 Prerational Intelligence: Interdisciplinary Perspectives on the Behavior of Natural and Artificial Systems, Volume 3. , 109-121 (2000).
McAfee, A., Collins, T. F., Madilao, L. L., Foster, L. J. Odorant cues linked to social immunity induce lateralized antenna stimulation in honey bees (Apis mellifera L). Sci Rep. 7, (2017).
Dötterl, S., Vater, M., Rupp, T., Held, A. Ozone Differentially Affects Perception of Plant Volatiles in Western Honey Bees. J Chem Ecol. 42 (6), 486-489 (2016).
Wang, Z., et al. Honey Bees Modulate Their Olfactory Learning in the Presence of Hornet Predators and Alarm Component. PLOS ONE. 11 (2), e0150399 (2016).
Søvik, E., Plath, J. A., Devaud, J. -. M., Barron, A. B. Neuropharmacological Manipulation of Restrained and Free-flying Honey Bees, Apis mellifera. J Vis Exp. (117), e54695 (2016).
Fang, Y., Du, S., Abdoola, R., Djouani, K., Richards, C. Motion Based Animal Detection in Aerial Videos. Procedia Computer Science. 92, 13-17 (2016).
Miller, B., Lim, A. N., Heidbreder, A. F., Black, K. J. An Automated Motion Detection and Reward System for Animal Training. Cureus. 7 (12), (2015).
Birgiolas, J., Jernigan, C. M., Smith, B. H., Crook, S. M. SwarmSight: Measuring the temporal progression of animal group activity levels from natural-scene and laboratory videos. Behav Res Methods. , (2016).
Stern, U., Zhu, E. Y., He, R., Yang, C. -. H. Long-duration animal tracking in difficult lighting conditions. Sci Rep. 5, 10432 (2015).
Macrì, S., Mainetti, L., Patrono, L., Pieretti, S., Secco, A., Sergi, I. A tracking system for laboratory mice to support medical researchers in behavioral analysis. Engineering in Medicine and Biology Society (EMBC), 2015 37th Annual International Conference of the IEEE. , 4946-4949 (2015).
Crall, J. D., Gravish, N., Mountcastle, A. M., Combes, S. A. BEEtag: a low-cost, image-based tracking system for the study of animal behavior and locomotion. PLOS ONE. 10 (9), e0136487 (2015).
York, J. M., Blevins, N. A., McNeil, L. K., Freund, G. G. Mouse short-and long-term locomotor activity analyzed by video tracking software. J Vis Exp. (76), e50252 (2013).
Noldus, L. P., Spink, A. J., Tegelenbosch, R. A. EthoVision: a versatile video tracking system for automation of behavioral experiments. Behav Res Methods. 33 (3), 398-414 (2001).
Egnor, S. E. R., Branson, K. Computational Analysis of Behavior. Annu Rev Neurosci. 39 (1), 217-236 (2016).
Cholé, H., Junca, P., Sandoz, J. -. C. Appetitive but not aversive olfactory conditioning modifies antennal movements in honeybees. Learn Memory. 22 (12), 604-616 (2015).
Shen, M., et al. Interactive tracking of insect posture. Pattern Recognit. 48 (11), 3560-3571 (2015).
Mujagić, S., Würth, S. M., Hellbach, S., Dürr, V. Tactile conditioning and movement analysis of antennal sampling strategies in honey bees (apis mellifera l). J Vis Exp. (70), (2012).
Shen, M., Szyszka, P., Deussen, O., Galizia, C. G., Merhof, D. Automated tracking and analysis of behavior in restrained insects. J Neurosci Methods. 239, 194-205 (2015).
Cucchiara, R., Grana, C., Piccardi, M., Prati, A. Detecting moving objects, ghosts, and shadows in video streams. IEE Trans Pattern Anal Mach. 25 (10), 1337-1342 (2003).
Shaw, J. R. QuickFill: An efficient flood fill algorithm. The Code Project. , (2004).
Zhang, H., Wu, K. A vehicle detection algorithm based on three-frame differencing and background subtraction. Computational Intelligence and Design (ISCID), 2012 Fifth International Symposium on Computational Intelligence and Design. 1, 148-151 (2012).
Elgammal, A., Harwood, D., Davis, L. Non-parametric Model for Background Subtraction. Computer Vision – ECCV 2000. , 751-767 (2000).
Zeileis, A., Grothendieck, G. zoo: S3 infrastructure for regular and irregular time series. arXiv preprint math/0505527. , (2005).
Smith, B. H., Burden, C. M. A Proboscis Extension Response Protocol for Investigating Behavioral Plasticity in Insects: Application to Basic, Biomedical, and Agricultural Research. J Vis Exp. (91), e51057 (2014).
How to split a video or audio file with VLC Player. Darktips Available from: https://darktips.com/split-video-audio-file/ (2012)
Team, R. s. . RStudio: integrated development for R. , (2015).
Venables, W. N., Ripley, B. D. . Modern Applied Statistics with S-PLUS. , (2013).
Smith, B. H., Menzel, R. An Analysis of Variability in the Feeding Motor Program of the Honey Bee; the Role of Learning in Releasing a Modal Action Pattern. Ethology. 82 (1), 68-81 (1989).
Smith, B. H. An analysis of blocking in odorant mixtures: an increase but not a decrease in intensity of reinforcement produces unblocking. Behavioral neuroscience. 111 (1), 57 (1997).
. SwarmSight Antenna Tracking CSV files Available from: https://github.com/JustasB/SwarmSight/tree/master/Examples/Appendage%20Tracking/Birgiolas%20et.%20al.%20(2015) (2017)
Kalman, R. E. A New Approach to Linear Filtering and Prediction Problems. J Basic Eng. 82 (1), 35-45 (1960).

Play Video

PDF

DOI

DOWNLOAD MATERIALS LIST

Cite This Article

Birgiolas, J., Jernigan, C. M., Gerkin, R. C., Smith, B. H., Crook, S. M. SwarmSight: Real-time Tracking of Insect Antenna Movements and Proboscis Extension Reflex Using a Common Preparation and Conventional Hardware. J. Vis. Exp. (130), e56803, doi:10.3791/56803 (2017).

Automatically Generated