SwarmSight: Real-time Tracking of Insect Antenna Movements and Proboscis Extension Reflex Using a Common Preparation and Conventional Hardware

Justas Birgiolas; Christopher M. Jernigan; Richard C. Gerkin; Brian H. Smith; Sharon M. Crook

doi:10.3791/56803

JoVE Journal > Neuroscience

Please note that all translations are automatically generated. Click here for the English version.

Neuroscience

SwarmSight: Real-time Tracking van insecten antenne bewegingen en Proboscis extensie Reflex met een gemeenschappelijke voorbereiding en conventionele Hardware

Published: December 25, 2017

doi:

10.3791/56803

Justas Birgiolas¹, Christopher M. Jernigan¹, Richard C. Gerkin¹, Brian H. Smith¹, Sharon M. Crook^1,2

¹School of Life Sciences,Arizona State University, ²School of Mathematical and Statistical Sciences,Arizona State University

Summary

Dit protocol worden de stappen beschreven voor het gebruik van de nieuwe software, SwarmSight, voor het bijhouden van de frame-voor-frame van insecten antenne en proboscis posities van conventionele web camera video’s met behulp van conventionele computers. De gratis, open-source software verwerkt frames ongeveer 120 keer sneller dan mensen en presteert op beter dan menselijke nauwkeurigheid.

Abstract

Veel wetenschappelijk en agrarisch belangrijke insecten gebruiken antennes om te detecteren van de aanwezigheid van vluchtige chemische stoffen en uitbreiden van hun slurf tijdens het voeden. De mogelijkheid om snel verkrijgen van hoge-resolutie metingen van de natuurlijke bewegingen van de antenne en proboscis en beoordelen hoe ze veranderen in reactie op chemische-, ontwikkelings- en genetische manipulaties kan helpen het begrip van insecten gedrag. Door de uitbreiding van onze eerdere werk over de evaluatie van de totale insecten zwerm of dierlijke groep bewegingen van natuurlijke en laboratorium-video’s met behulp van de video analysesoftware SwarmSight, ontwikkelden we een nieuwe, gratis en open-source softwaremodule, SwarmSight aanhangsel (SwarmSight.org) bijhouden voor het frame-voor-frame bijhouden van insecten antenne en proboscis posities in conventionele web camera video’s met behulp van conventionele computers. De software verwerkt frames ongeveer 120 keer sneller dan de mens, presteert op beter dan menselijke nauwkeurigheid en, met behulp van 30 raamwindow via tweede (fps) video’s, kan vangen antennal dynamiek tot 15 Hz. De software werd gebruikt om het spoor van de antennal respons van de bijen tot twee geuren en gevonden significante gemiddelde antennal volumeherstel weg van de bron van de geur ongeveer 1 s na de presentatie van de geur. Antenne positie dichtheid warmte kaart clustervorming en cluster en betekenen hoek afhankelijkheid van geur-concentratie waargenomen.

Introduction

Meeste geleedpotigen verplaatsen antennes of andere aanhangsel om een monster van milieu aanwijzingen en signalen in tijd en ruimte te. De dieren kunnen de antennes gebruiken om te navigeren van hun omgeving door het detecteren van sensorische signalen zoals chemische vluchtige stoffen en smaak en mechanische stimuli¹^,,²^,,³^,⁴. Bij insecten bevatten de antennes sensorische receptoren die binden aan chemische vluchtige stoffen⁴^,⁵^,⁶ en dit signaal doorgeeft via olfactorische sensorische neuronen naar centrale hersenen gebieden¹^,⁷ ^,⁸^,⁹. De insecten kunnen aanpassen antennes posities te moduleren van informatie over binnenkomende geuren⁴^,¹⁰^,¹¹. Deze modulatie vergemakkelijkt actief geïnformeerd gedrags reacties op geuren en hun pluimen¹²^,¹³.

Veel insecten, waaronder Hymenopterans (bijvoorbeeld honingbijen en hommels), vlinders (bijvoorbeeld vlinders) en Dipterans (b.v., vliegen en muggen), onder anderen, voeden door uitbreiding van hun snuit¹⁴ ^, ¹⁵ ^, ¹⁶ ^, ¹⁷ ^, ¹⁸ ^, ¹⁹ ^, ²⁰ ^, ²¹. uitbreiding van de proboscis is betrouwbaar gebruikt in het verleden voor een verscheidenheid van leren en geheugen taken²²^,²³^,²⁴^,²⁵^,²⁶^, ²⁷^,²⁸^,²⁹^,³⁰^,³¹. Kwantitatieve beoordeling van antennes verkeer met een hoge temporele en ruimtelijke resolutie zou kunnen ook inzicht in de relatie tussen de prikkel, het gedrag, en de interne toestand van het dier opleveren. Inderdaad vorige werk heeft aangetoond hoe de antennal bewegingen bevatten een rijke hoeveelheid aan informatie over honing honingbij tracking van het milieu en hoe de bewegingen veranderen met het leren van³²^,³³^,³⁴^, ³⁵,^,³⁶,^,³⁷^,³⁸.

In het laatste decennium, hebben methoden voor het waarnemen van dierlijk gedrag aanzienlijk versneld door voorschotten in hoge resolutie video camera’s, computer verwerking snelheden en de machine vision algoritmen. Taken zoals dierlijke detectie, tellen, bijhouden en plaats voorkeur analyses hebben geholpen met geavanceerde software die video’s van dierlijk gedrag kan verwerken en extract relevante maatregelen³⁹^,⁴⁰^, ⁴¹^,⁴²^,⁴³^,⁴⁴^,⁴⁵^,⁴⁶^,⁴⁷.

Deze technologieën hebben ook geholpen bijhouden van insecten antenne en proboscis bewegingen. Het is mogelijk voor menselijke beoordelaars een muiscursor wilt gebruiken om het handmatig bijhouden van de positie van de antennes. Hoewel deze methode kan nauwkeurig, de taak is echter tijdrovend, en menselijke onoplettendheid en vermoeidheid kunnen leiden tot onbetrouwbare resultaten. Speciale uitrustingen en voorbereiding kunnen worden gebruikt om de behoefte voor complexe software te verminderen. Bijvoorbeeld één setup gebruikt een high-speed camera en de toppen van de antennes om bij te houden van de antenne verkeer⁴⁸geschilderd. Gebruikers kunnen ook worden gevraagd om te selecteren van keyframes van video’s om te helpen de software bij de opsporing van de antenne en proboscis locatie⁴⁹. Een andere benadering ontdekt de twee grootste clusters van de motie ter identificatie van de antennes, maar het niet worden gevonden door de proboscis locatie⁵⁰. Een ander softwarepakket antenne en proboscis locaties kan detecteren, maar vereist ongeveer 7.5 s verwerkingstijd per frame⁵¹, dat zou onbetaalbaar voor real-time of op lange termijn waarneming studies. Tenslotte, het mogelijk is om aan te passen (bijvoorbeeld EthoVision) commerciële softwarepakketten voor het uitvoeren van de taak⁴⁶, maar hun licentie- en opleiding kosten onbetaalbaar kunnen worden.

Met de hier beschreven methode, we uitgebreid onze eerdere werk op beweging analyse software⁴¹ voor het bijhouden van de locaties van insecten antennes en snuit met de volgende doelstellingen: (1) geen behoefte aan speciale hardware of complexe dierlijke voorbereiding, (2). frame in real-time verwerking (30 fps of sneller) op een conventionele computer, (3) gemak van gebruik, en (4) open-source, gemakkelijk uitbreidbaar code.

De resulterende nieuwe methode en open-source software, Bijhouden van SwarmSight-aanhangsel, vereist geen schilderij van de antennes tips, kunt een consument webcamera vastleggen van video’s en processen videoframes bij 30-60 fps op een conventionele computer ( Figuur 1). De software neemt video bestanden als invoer. De gebruiker zoekt op de positie van het hoofd van insecten in de video en, na verwerking, een door komma’s gescheiden waarden (CSV) bestand is geproduceerd met de locaties van de antennes en de snuit. De software is geschikt voor het lezen van honderden verschillende video formaten (met inbegrip van de formaten geproduceerd door de meeste digitale camera’s) door het gebruik van de FFmpeg bibliotheek⁵².

Figuur 1: dierlijke Setup en software uitvoer. (A) A honey bee forager met haar hoofd en het lichaam worden gefixeerd in een harnas. (B) geur bron wordt geplaatst voor het dier, een video-camera is gepositioneerd boven, en een vacuüm bron wordt geplaatst achter het dier. (C) de antenne uiteinde en proboscis variabelen gedetecteerd door de software van de SwarmSight van de video. (D) de gebruiker de antenne-sensor op het dier plaatst en past de parameters van de filter. De software detecteert de posities van het antenne en proboscis (gele ringen).Klik hier voor een grotere versie van dit cijfer.

Een insect van lichaam en haar hoofd zijn eerste plaats gefixeerd in een harnas zodanig dat de antenne en proboscis bewegingen gemakkelijk (figuur 1A waargenomen worden). Een bron van de geur is voor het insect, geplaatst met een vacuüm bron geplaatst achter, om de geuren te verwijderen uit de lucht en het minimaliseren van de potentiële effecten van sensorische aanpassing (figuur 1B). Een conventionele webcamera is boven het insect hoofd op een statief geplaatst. Een LED kan worden geplaatst binnen de cameraweergave te geven wanneer de geur wordt gepresenteerd.

Figuur 2: antenne coördinatensysteem. X, Y-waarden gebruiken de video coördinatensysteem, waar linker bovenhoek is de oorsprong en de verhoging van X- en Y-waarden wanneer richting de bodem juiste hoek. Hoeken worden uitgedrukt in graden ten opzichte van de voorkant van het hoofd (meestal de bron van de geur). Een waarde van “0” betekent dat de regel gevormd door het flagellum van de antenne direct voor het dier wijst. Alle hoeken zijn positief, behalve wanneer de punten van een antenne aan de tegengestelde richting (bijvoorbeeld juiste flagellum punten naar links). Klik hier voor een grotere versie van dit cijfer.

Na het filmen, wordt het video bestand geopend met de software van de SwarmSight, waar de gebruiker de antenne Sensor widget (Figuur 1 d, zwart vierkant) op het hoofd van het insect plaatst, en begint het afspelen van de video. Wanneer de resultaten worden opgeslagen, het CSV-bestand bevat de X, Y-posities van de antenne tips, de hoeken van de antenne ten opzichte van de voorkant van het hoofd (Figuur 2), en de snuit X, Y-positie. Bovendien, wordt een dominante sector-metric berekend voor elke antenne. De metrische laat zien welke van de vijf sectoren van de 36 graden rond elke antenne die de meeste punten geacht kunnen worden van de antennes, en kunnen nuttig zijn als de antenne positie/hoek statistieken niet betrouwbaar als gevolg van lawaaierige of anderszins problematische video’s zijn.

Kortom, de software werkt met behulp van een set van beweging filters⁵³ en een ontspannen overstroming vulling algoritme⁵⁴. Vind je waarschijnlijk antenne punten, twee filters worden gebruikt: een 3-opeenvolgende-frame verschil filter⁴¹^,⁵⁵ en een mediaan-achtergrond aftrekken-⁵⁶ -filter. Een kleurenfilter afstand drempel wordt gebruikt voor de detectie van de punt van de snuit. De top 10% van de punten van elk filter worden gecombineerd, en een overstroming vulling algoritme dat aaneengesloten punten met tussenruimten maximaal 2 pixels (px inspecteert) zoekt extreme punten. Parallelle frame decoderen, verwerking, en rendering pijpleidingen en geoptimaliseerde geheugen toewijzing van de gegevensstroom filter bereikt hoge prestaties. De ruwe x- en y-coördinaat waarden geproduceerd door de software zijn post verwerkt met een 3-frame voortschrijdend gemiddelde filter⁵⁷ (Zie discussie). De instructies voor het downloaden van de volledige broncode kunnen worden gevonden online⁵⁸.

Hieronder is een protocol voor te bereiden op een honing honingbij forager antenne bijhouden. Een vergelijkbaar protocol kan worden gebruikt voor het bijhouden van de bewegingen van de antenne/proboscis van elke andere insecten. In het gedeelte ‘ resultaten ‘ beschrijven we een antenne trace voorbeelduitvoer die wordt herkend door de software, de vergelijking van de output van de software wordt uitgevoerd door menselijke beoordelaars en beoordeling van antennes beweging in reactie op vijf odorant bijhouden.

Protocol

1. vangen en benutten van bijen Volg de stappen 1 tot en met 3.1.1 van de Protocol van Smith en last59. 2. voorbereiding van de dierlijke harnas en videocamera Verberg de benen door het toepassen van tape over de bovenkant van de kabelboom buis, visueel inspecteren dat benen niet worden gezien in de beweging van boven. Het hoofd beperken door toepassing van verwarmde wax op de achterkant van het hoofd van insecten. Inspecteer visueel of dat het hoofd vaste en niet bewegen is. Op dit punt, moeten de antennes en de kaken de enige aanhangsels vrij om te bewegen. Contrast tussen de antennes en de video achtergrond te maximaliseren door het plaatsen van een wit vel papier onder het insect harnas. Markeren van de locatie van het insect harnas op het papier om te minimaliseren van de noodzaak om later de camera, en plaats vervolgens nieuwe individuen op dezelfde locatie. De camerapositie met behulp van een statief of een webcam houder te plaatsen van de camera boven het insect hoofd vast te stellen. Met behulp van de camerasoftware bekijken de video en inzoomen op het vergroten van de hoofd afbeelding, waardoor een ~ 20-30% goedkeuring aan alle zijden van de video. Ervoor zorgen dat de enige bewegende objecten in de cameraweergave de antennes of de snuit/kaken zijn en verplaatsen van de camera of het dier indien nodig.Opmerking: SwarmSight controleert verkeer in pixels rond het hoofd. Vreemde beweging in de onmiddellijke nabijheid van het hoofd veroorzaakt door objecten zoals benen, schaduwen, ventilators of mensen kan verwarren de software, en voeren extra ruis. Antenne schaduwen te minimaliseren door het omgevingslicht aan te passen.Opmerking: De software kan tolereren sommige schaduwen, maar voor de beste resultaten, moeten ze tot een minimum worden beperkt. Voorkomen dat automatische camera belichtingsaanpassingen met behulp van de software van de snelheid van de sluiter van de camera te houden van de camera belichtingstijd constant gedurende de video. Met behulp van de software, het aanpassen van de sluitertijd te maximaliseren contrast (video scène niet te licht of te donker), door het aanpassen van de ‘blootstelling schuifknop’ onder ‘Webcam-instellingen’.Opmerking: De bovenstaande instructies gelden voor de webcam en de software die wordt gebruikt. Deze moet worden aangepast als andere webcams worden gebruikt. Plaats van de bron van de levering geur en ervoor te zorgen dat het niet de cameraweergave verhindert door te inspecteren het videovoer van de camera. Ervoor zorgen dat een vacuüm bron wordt geplaatst aan de andere kant om de stimulans geuren te verwijderen. Breng een LED of sommige andere visuele indicator die deze methode wijzigt de helderheid om aan te geven geur opleveringsdatum, met inachtneming van de cameraweergave.Opmerking: De helderheidswaarde van de LED wordt opgeslagen door de software en kan worden gebruikt om te bepalen van het exacte frames wanneer de levering geur begint en eindigt. 3. elk individu onder proefomstandigheden film Film die elke individuele insect en test de conditie in aparte video bestanden door opname van elke afzonderlijke test combinatie afzonderlijk of met behulp van video editing software om te splitsen een lange video bestand in kleinere bestanden.Opmerking: De software vereist de gebruiker om te vinden van de positie van het hoofd in elke video en voor het hoofd te blijven vast. Als het hoofd beweegt, zal extra ruis worden ingevoerd. De Batch-verwerking functie van SwarmSight kan de gebruiker snel de locatie van het hoofd voor meerdere video’s instellen en wordt ervan uitgegaan dat het insect hoofd vast voor de duur van elk video bestand blijft. Online60vindt u instructies over hoe om lange video bestanden te splitsen. 4. video-analyse Download en installeer de module ‘Antenne Tracking’ door het volgen van de stappen online58.Opmerking: Video-oefeningen met een beschrijving van het gebruik van de software zijn beschikbaar op de website ook. Open een videobestand tonen een gefilmde dier met behulp van de knop ‘Bladeren’. Plaatsing van de antenne-sensor en sensor van de behandeling Zodra de video is geladen, plaatst u de rechthoekige “Antenne Sensor” widget op hoofd van het dier, met behulp van de rotatie en schaal pictogrammen uitlijnen de widget met het hoofd (Zie Figuur 1 d bijvoorbeeld). Plaats de circulaire “Behandeling Sensor” widget op de LED die aangeeft wanneer de geur of stimulus wordt gepresenteerd.Opmerking: De Sensor behandeling behaalt de helderheidswaarde van de pixel in het midden van de widget voor elk frame. Starten van video-verwerking Druk op de toets “Play” (zwarte driehoek) in de linkerbenedenhoek om te beginnen met de analyse van de frames.Opmerking: De gedetecteerde waarschijnlijk antenne en proboscis punten worden gemarkeerde geel. De gele ringen toont de locatie van de uiteinden van de aanhangsels. De hoeken (waar 0 is direct voor het dier) van de antenne en de lengte van de extensie proboscis wordt getoond in de widget “Model” in de linker benedenhoek (Zie Figuur 1 d). De “Dominante sectoren” widget in de rechter onderhoek geeft de relatieve intensiteit van de vijf sectoren van 36 graden waarbij de meeste punten van antenne hebben geconstateerd. De donkerste sectoren bevatten de meeste punten, terwijl de lichtste de minste hebben. Het sectoraantal (1-5) met de meeste punten worden getoond in de onderste hoeken van de widget (Zie Figuur 1 d). Aanpassing van de drempels van de filter en uitsluiting zones toe te voegen Aanpassen als u wilt wijzigen van de gevoeligheid van de filters, schuifknoppen in het gedeelte “Filters” op het juiste paneel.Opmerking: Afhankelijk van de lichtomstandigheden en de snelheid van de algemene beweging van de aanhangsels, ander filter gevoeligheden worden optimaal. De gebruiker vindt de optimale waarden door aanpassing van de waarden en observeren van de gemarkeerde gebieden in de antenne Sensor widget. Wanneer een ideale set van gevoeligheden wordt gevonden, zal alleen de aanhangsels worden gemarkeerd. Het is aanbevolen om snel vooruit naar andere delen van de video om dat de gevoeligheden van de filter zijn optimale er, ook. Optioneel, als u wilt negeren van vreemde objecten, op het juiste paneel, vouwt u het gedeelte van de “Antenne Sensor”, klik op de “Zone uitsluiting toevoegen” knop (Zie Figuur 1 d), en klik op een verzameling van punten vormen een rode veelhoek, waarvan de inhoud wordt genegeerd door de software.Opmerking: Als de video vreemde beweging bevat en de beweging is binnen de zone van de antenne Sensor widget (bijvoorbeeld bewegende benen, sterke schaduwen, lab-apparatuur, enz.), de software kan fout voor aanhangsel beweging.De vreemde objecten kunnen worden genegeerd door het tekenen van rode veelhoeken of “Exclusieve Zones”. Alles binnen een rood veelhoek zal niet worden gebruikt om te worden bijgehouden. Opslaan van resultaten Zodra de filters en de widgets zijn ingesteld, stopt de video opnieuw vanaf het begin en spelen tot het einde.Opmerking: Zodra de hele video heeft gespeeld, de standpunten van de aanhangsels voor alle frames van de video zal worden opgeslagen in het geheugen. Het aanhangsel positie als gegevens wilt opslaan naar een bestand, vouwt u het gedeelte “Opslaan” aan de rechterkant en klik op de “Save aan. CSV”knop. Kies vervolgens een map het bestand wilt opslaan.Opmerking: Het “opslaan op. CSV”knop zal de verwerking resultaten opslaan naar een CSV-bestand. Standaard, zal de gebruiker zal aangeboden worden aan het opslaan van het CSV-bestand in dezelfde map als het videobestand en een datum en tijd als deel van de bestandsnaam. Het resulterende CSV-bestand bevat een set kolommen die gegevens over de positie van de aanhangsels bevatten, met inbegrip van de antenne hoeken en dominante sectoren, evenals de afdrukstand en positie van het hoofd. De beschrijving van elke kolom wordt online61gegeven. Gebruik eventueel de waarde(n) velden en kolommen (s) in de sectie opslaan waarmee een extra kolom (of meer indien gescheiden door komma’s) in het CSV-bestand met recordgegevens, zoals de onderwerp-ID of de naam van een experimentele voorwaarde.Opmerking: De waarde in het vak van de kolom(men) die zal verschijnen in de koptekst van de eerste kolom en de waarde in het vak waarde(n) in alle rijen van de eerste kolom herhaald zal worden. Batch-verwerkingOpmerking: De software kan meerdere videobestanden in een batch verwerken. De gebruiker moet evenwel de hoofd locatiegegevens voor elke video voordat de partij. Klik in het rechter paneel, in de sectie “videobestanden” op de “Batch Processing” knop om een venster waarmee het maken van een lijst met videobestanden naar sequentieel worden verwerkt door de software te openen. Gebruik de “Toevoegen meer Video bestanden voor Batch” knop te selecteren een of meer videobestanden wilt opnemen in de lijst van de batch. Optioneel, gebruik de “CTRL” of “SHIFT” toetsen om meerdere video’s die dezelfde set widget parameters gebruiken.Opmerking: Goede kandidaten voor parameter hergebruik zijn sets van video’s van hetzelfde dier dat niet tussen verschillende experimentele omstandigheden verschoven. Start het instellen van de parameters van de widget moet worden gebruikt voor de geselecteerde video’s door te klikken op de “Set Sensor posities voor geselecteerde” knop. Aanpassen van de parameters in de antenne Sensor, behandeling Sensor, Filters, of secties opslaan, en klik “Opslaan Parameters te Batch” als je klaar bent. Zodra de parameters voor elke video hebt geselecteerd, start u het batchproces door te klikken op de knop “Start de verwerking”.Opmerking: De software laadt de videobestanden in de volgorde waarin ze worden weergegeven in de lijst van de batch te verwerken, en hun overeenkomstige CSV-bestanden opslaan in dezelfde map waar de videobestanden zich bevinden. Een voortgangsbalk boven krijgt een geschatte eindtijd nadat de eerste video is voltooid.

Representative Results

In de onderstaande secties zijn een voorbeeld plot van antennes hoeken geproduceerd uit de gegevens van de software, de vergelijking van de nauwkeurigheid van de software en snelheid met menselijke beoordelaars en de resultaten van een experiment waar honing honingbij antenne beweging wordt beïnvloed door de presentatie van verschillende geuren. R software62,63 werd gebruikt om de analyses uit te voeren en het genereren van de cijfers. R code voor analyse en figuur generatie evenals video tutorials vind je online58. Software-uitgang: Figuur 3 toont vijf willekeurig geselecteerde sporen van antenne hoeken gedetecteerd door de software van de video’s van honingbijen gepresenteerd met pure en 35 x minerale olie verdunde versies van heptanal heptanol, alsmede schone lucht. Figuur 3: vijf proeven sporen van antennes hoeken gedetecteerd door SwarmSight. Y-as toont antenne hoek in graden, waar “0” is direct voor het dier, naar de bron van de geur, met grotere waarden wijzen weg van de bron van de geur. Heptanol, heptanal, en hun 35 x minerale olie verdunde versies, evenals schone lucht, werden toegepast tijdens de grijze 0 – 3600 ms windows naar één honey bee foragers. Linker antenne is rood, rechts blauw gemarkeerd gemarkeerd. Vijf willekeurige bijen, één uit elke voorwaarde, zijn afgebeeld in de vijf percelen. Klik hier voor een grotere versie van dit cijfer. Validatie van de software: Om te valideren dat de software betrouwbaar de locaties van de antenne kan detecteren, werden antenne posities gelegen door de mens vergeleken met de standpunten die door de software ligt. Twee menselijke beoordelaars werden gevraagd om te zoeken van de uiteinden van de antenne en proboscis in 425 videoframes (~ 14 s van video). Een aangepaste softwaremodule opgenomen van de locaties van de aanhangsel gekenmerkt door de beoordelaars, automatisch geavanceerde videoframes, en de hoeveelheid tijd besteed aan de taak opgenomen. Als een voorbeeld van correspondentie tussen mens – en software-gelegen waarden, bovenop de verticale coördinaat sporen van een antenne voor de software en tot de twee menselijke gedetecteerde locaties worden weergegeven in figuur 4A. De afstand tussen de twee beoordelaars gemarkeerde antenne posities werd berekend en met de naam “Inter menselijke afstand.” De afstand tussen de plaats van de veldgenerator gedetecteerd door de software en de dichtstbijzijnde locatie gedetecteerd door de menselijke beoordelaars was berekend en met de naam “Software-kortste menselijke afstand” (figuur 4B). Figuur 4: vergelijking met menselijke beoordelaars. (A) twee menselijke beoordelaars en SwarmSight gelegen antenne tips in 425 videoframes. De frame-voor-frame links antenne tip Y coördinaten gevonden door de menselijke beoordelaars en software zijn bovenop. (B) bovenop frame-voor-frame onenigheid (referentieafstand in video pixels) tussen menselijke beoordelaars (oranje) en onenigheid tussen software en dichtstbijzijnde menselijke rater waarde (zwart). (C) mens vs. menselijke antenne tip locaties (oranje) en software vs. menselijke locaties (zwart). (D) histogrammen en cumulatieve uitkeringen (streepjes) van mens vs. mens en software vs. menselijke frame-voor-frame onenigheid afstanden. Klik hier voor een grotere versie van dit cijfer. Inter menselijke afstand was 10,9 px gemiddeld binnen 55.2 px in 95% van de frames, en had een maximumwaarde van 81,6 px. De menselijke Software-kortste afstand was 8.0 px gemiddeld binnen 18,3 px in 95% van de frames, en had een maximumwaarde van 49.0 px (Zie afstand histogrammen in Figuur 4 den figuur 4C). 5 px was ongeveer de breedte van een antenne. Globaal, is de afstand tussen mens was klein voor de frames aan het begin van de taak, en steeg in de tweede helft van de taak. Wij vermoeden dat dit was te wijten aan rater vermoeidheid. Ondertussen bleef Software-kortste afstand van de menselijke niveaus de taak constant. Software snelheid en nauwkeurigheid vergelijking met menselijke beoordelaars: Mens gewaardeerd antenne uiteinde en proboscis locaties met een gemiddelde snelheid van 0.52 frames per seconde (fps). Als u wilt schatten menselijke fps, het totale aantal frames gewaardeerd door mensen (met elke 425) was gedeeld door de totale tijd die ze aan de taak besteed (873 s en 761 s). De software scoort de frames bij 65 fps gemiddeld op een Dual-Core Windows 7 PC. Samen met hoge verwerkingssnelheid en nauwkeurigheid vergelijkbaar of beter zijn dan menselijke beoordelaars, kan de software worden verwacht voor het uitvoeren van het werk van zo’n 125 menselijke beoordelaars per tijdseenheid. Detectie van antenne reactie op geuren: Om aan te tonen dat het protocol kan worden gebruikt om gedrags verschillen in insect beweging detecteren, onderworpen we 23 vrouwelijke bijen aan twee verschillende geuren. Pure heptanal en heptanol, 35 x minerale olie verdunningen van de twee geuren, en schone lucht als het besturingselement, ontvingen elk voor 4 s (vijf voorwaarden in totaal). Video’s, zoals beschreven in het bovenstaande protocol werden verwerkt met SwarmSight software, en de antenne hoeken geanalyseerd (Figuur 5). Figuur 5: antenne hoek middelen en dichtheid warmte kaarten voor vijf geur voorwaarden. (A) warmte kaarten weergegeven: antenne hoek dichtheid vóór, tijdens (donkerder middelste regio), en na toediening van heptanol-, lucht- en heptanal odorant voor vrouwelijke honingbijen (n = 23). Zwarte bochten zijn per-frame gemiddelde antenne hoeken (beide antennes). Horizontale lijnen zijn pre geur gemiddelde (basislijn) hoeken. Opmerking het cluster van voorkeur antenne locaties (rode cluster in bodem plot) weg van de bron van de geur van pure geur voorwaarden, en de overeenkomstige wijzigingen aan de gemiddelde antenne hoek.Merk ook op het “rebound” cluster na sluiting van de geur en de afhankelijkheid van de schijnbare begin van geur concentratie (Zie cluster locatie in de andere vier percelen). Dichtheid warmte kaart kleurenschaal is willekeurig maar uniform in alle omstandigheden. (B) verandering van de gemiddelde hoek ten opzichte van de gemiddelde pre geur (foutbalken S.E.M). Met uitzondering van lucht, betekenen allemaal veranderingen waren significant (t-test p < 0,05). Klik hier voor een grotere versie van dit cijfer. Videoframes uit 9 s segmenten van de bestaande uit 3 video s vóór het intreden van de geur, 3.6 s van geur presentatie en 2.4 s na sluiting van de geur waren uitgelijnd in alle individuen en voorwaarden (300 frames/segment). Per-frame werden van de beide hoeken van de antenne van alle individuen berekend voor elke voorwaarde en genaamd “Betekenen hoeken” (figuur 5A, zwarte curven). De gemiddelde antenne hoeken van frames vóór het intreden van de geur over individuen voor elke voorwaarde waren berekend en genaamd “Pre geur basislijnen” (figuur 5A, dunne horizontale lijnen). In alle omstandigheden, behalve controle, steeg de gemiddelde hoeken van basislijnen, elke piek eens 750-1050 ms na het begin van de geur (figuur 5A, zwarte curven in 0 – 3600 ms regio). De gemiddelde veranderingen van basislijnen voor betekenis (figuur 5B) werden getest door het vergelijken van de twee-antenne middelen van personen op de piekuren van de geur-presentatie gemiddelde hoek van elke voorwaarde bij het gemiddelde van de basislijn met behulp van een reeks 1-sample t-test () Shapiro normaliteit test niet significant in alle omstandigheden). De verandering van de gemiddelde hoek van basislijn was 26.9° voor zuivere heptanal (gemiddelde bedroeg 750 ms nadat de eerste verschijnselen van geur), 21,1 ° voor 0,2 M heptanal (bij 990 ms), 19.6° voor zuivere heptanol (bij 1.050 ms), 19,3 ° voor 0,2 M heptanol (bij 780 ms), en 3,45 ° voor luchtverkeersleiding (geen piek). In alle omstandigheden, behalve de controle, de verandering van de gemiddelde hoek van basislijn was aanzienlijke (Holm aangepast p < 0,05). Wij stellen vast dat de gemiddelde hoek duurt langer terug te keren naar de basislijn in reactie op pure odorant dan met verdunde odorant (low-pass gefilterde gemiddelde terug naar basislijn 3,690 ms na geur begin voor zuivere en bij 2,940 ms voor verdunde heptanol; voor heptanal, terugkeer tijden waren 4,260 ms voor zuivere en 3000 ms voor verdunde versies). Visualisatie met behulp van warmte kaarten: Om te visualiseren de antenne reacties, antenne hoek dichtheid warmte kaarten voor elke voorwaarde waren gegenereerd (figuur 5A, blauw-rode achtergrond). Antenne hoeken over de 10 s video-segmenten voor elk individu per voorwaarde waren convolved met een Gaussiaans kernel (R pakket massa, kde2d functie64). Blauwe gebieden geven lage dichtheden van antenne hoeken, terwijl rode gebieden hoge dichtheden van antenne hoeken weergeven. De kaart van de warmte in de plot van de onderkant van de figuur 5A voor de zuivere heptanal voorwaarde illustreert het gedrag van de antenne. De kaart toont aan dat voordat de geur wordt aangeboden (t < 0), de dichtheid van de hoek antenne wordt verdeeld relatief gelijkmatig over alle hoeken. Ongeveer 1 s na geur begin (t ~ 1000 ms), een paar blauwe en rode clusters verschijnt. In gebieden grijs rood, bleken de antennes meer vaak dan in schaduwrijke gebieden blauw. De blauwe cluster geeft aan dat de antennes neiging om te voorkomen dat de kleinere hoeken (bron van de geur was gevestigd in de richting van 0 graden), terwijl de rode cluster geeft aan dat antennes liever meer hoeken (weg van de bron van de geur). De rode cluster verdwijnt geleidelijk als de geur presentatie wordt gehandhaafd. Andere rood, zij het minder intens, cluster verschijnt ongeveer 1 s na sluiting van de geur. We noemen de tweede rode clusters ‘Rebound Clusters’. In overeenstemming met de gemiddelde hoek hersteltijden bovenstaande, wij stellen vast dat de rebound clusters lijken te verschijnen eerder en minder intens voor verdunde geuren dan voor pure geuren zijn.

Discussion

De methode die hier gepresenteerd kunt real-time tracking van insecten antenne en proboscis bewegingen zonder speciale dierlijke preparaten of hardware.

Beperkingen:

Ondanks deze voordelen zitten ziedaar sommige beperktheid van de methode. Deze omvatten van de eis dat het hoofd van het dier wordt beperkt van beweging, de noodzaak voor de gebruiker selecteren de locatie en richting van het dier voor elke video, de vereiste toegang hebben tot een Windows-computer, en van de software onvermogen om bij te houden verkeer in drie dimensies (3D) en in sommige visueel dubbelzinnig aanhangsel posities die hieronder worden beschreven.

De software vereist dat het hoofd van het dier wordt bevestigd in plaats en niet tijdens de video beweegt is. Dit is vergelijkbaar met de voorbereidingen van eerdere werk⁴⁸^,⁴⁹^,⁵⁰^,⁵¹. Het is mogelijk om de software zodat de automatische detectie van hoofd rotaties te wijzigen, echter dit zou verbruiken extra verwerkingstijd en introduceren een nieuwe bron van de fout. Mochten de gewijzigde software detecteren de hoofd rotatie onjuist, zou dit invloed op de hoeken van de antennes, zoals hun berekening ten opzichte van de hoofd rotatiehoek is. Op dit moment selecteert de gebruiker de hoofd richting eenmaal per video. Deze aanpak, minimaliseert terwijl niet zonder menselijke fouten, hoek rekenfouten, wanneer de kop niet is toegestaan om te verplaatsen tijdens de video.

De software vereist ook een Windows 7 (of hoger) besturingssysteem (OS). Het doel was om de software gemakkelijk te installeren, instellen en gebruiken door gebruikers zonder programmeren of geavanceerde administratie computervaardigheden. We besloten naar doel Windows omdat het overal verkrijgbaar, en in gevallen waarin toegang beperkt is, virtuele machines (bijvoorbeeld VirtualBox, VMware, Parallels) met Windows gemakkelijk kunnen worden gemaakt. Deze keuze van OS sterk vereenvoudigt de softwareinstallatie met behulp van een easy-to-use, Command-Line-lijn-vrije installateur en vermijdt bugs die specifiek zijn voor verschillende besturingssystemen.

De software houdt alleen de positie van de aanhangsels in 2D ruimte. Insecten staan bekend om hun antenne in 3D, dat zou kunnen betekenen dat belangrijke informatie verloren gaat wanneer alleen 2D-coördinaten worden gemeten. Terwijl het gebruik van meerdere camera’s of spiegels helpen zou bij het verzamelen van de aanvullende informatie die nodig is voor 3D lokalisatie, is het mogelijk om te berekenen, ervan uitgaande dat de antennes zijn met het gebruik van trigonometrische betrekkingen, een geschatte uit-van-plane positie door enkellijns segmenten van constante lengte en enige beweging aan de ene kant van het vliegtuig van de camera. Voor bijen, deze veronderstelling geldt voor ruwe schattingen voor de positie in 3D, maar niet noodzakelijkerwijs het geval voor andere soorten en situaties zou zijn.

De software zal niet naar behoren herkent de antennes en de proboscis tip locaties in enkele dubbelzinnige situaties. Als een dier een antenne verplaatst zodat, in de video, het overlapt een langere snuit, de software zal waarschijnlijk het uiteinde van de antenne te detecteren als het uiteinde van de proboscis. De antenne-hoek zal echter nog steeds waarschijnlijk worden berekend correct (uit het deel van de niet-overlappende). Op dezelfde manier als de uiteinden van de antenne direct boven het hoofd van het dier (dat wil zeggen, niet aan de zijkanten verplaatsen) dan de software mogelijk alleen detecteren van het deel van de antenne dat is zichtbaar buiten het hoofd, veronderstellen de vorige locatie van de antenne of detecteren van valse Video lawaai als locatie van de antenne. In beide gevallen hebben zelfs menselijke beoordelaars moeite comforthotel de antenne van de snuit of het hoofd. Om te verhelpen dit probleem, is het raadzaam een 3-frame, symmetrische rollende mediaan⁵⁷ filter toepassen op de ruwe X en Y coördinaten geproduceerd door de software. Dit filter verwijdert grote voorbijgaande (single-frame) positie schommelingen, en behoudt langer antenne positie bewegingen. We hebben vastgesteld dat de 3-frame filter beter dan geen filter, presteerde terwijl grotere filters (bijvoorbeeld 5, 11 of 15 frames) nauwkeurigheid verminderde. Voorbeeld R-code die gebruikmaakt van het filter en een video-tutorial kan worden gevonden online⁵⁸.

Waarde als een wetenschappelijk instrument:

De beschikbaarheid van een methode om snel nauwkeurige insect aanhangsel bewegingen op een kosteneffectieve manier heeft het potentieel om te openen nieuwe terreinen van onderzoek.

Proboscis extensie reflex (PER) is een veelgebruikte gedragsmatige reactie om leren en geheugen van allerlei insecten⁵⁹te onderzoeken. Eerdere studies hebben over het algemeen vertrouwd op een binaire uitgebreid-or-not maatregel van PER, hoewel video en Electromyografische analyses is gebleken dat veel meer complexe topologieën tot⁶⁵^,⁶⁶van de bewegingen van de snuit. De methode hier kunt snelle kwantificering van proboscis bewegingen in hoge temporele en ruimtelijke resoluties.

Insect antenne bewegingen in reactie op geuren zijn slecht begrepen. Een reden hiervoor is dat de antennes neiging te bewegen zo snel dat een rendabele, geautomatiseerde middelen om antenne verkeer gegevens te verkrijgen niet beschikbaar is geweest. De methode die hier gepresenteerd kan snel antenne beweging om gegevens te verkrijgen voor grote aantallen van insecten in een groot aantal voorwaarden worden gebruikt. Dit zou helpen, bijvoorbeeld onderzoekers onderzoeken de toewijzing tussen antenne bewegingen in reactie op verschillende stimuli, in het bijzonder volatiele geuren. Met behulp van camera’s die het opnemen van frames bij 30 Hz, de software kan worden gebruikt voor het karakteriseren van antennal verkeer dynamiek tot 15 Hz (Nyquist limiet). Als karakterisering in hogere frequenties nodig is, kunnen de camera’s met hogere tarieven van de opname (bijvoorbeeld 60 of 120 fps) worden gebruikt. Echter, een snellere computer mogelijk moet video’s met hogere fps in real-time verwerken. Wij speculeren dat klassen van geuren en zelfs sommige individuele geuren, karakteristiek aangeboren antennal bewegingen hebben. Als deze klassen of verbindingen ontdekt, onbekende worden kunnen kon geuren of hun klasse worden opgespoord vanaf antennal verkeer van ongetrainde insecten. Als een dergelijke toewijzing bestaat, dan is de combinatie van voldoende antenne verkeer gegevens en stand van de techniek machine leren algoritmen moet beginnen om het te ontdekken. Ook, hoe dat toewijzing in reactie verandert op het leren, vormen tijdens de ontwikkeling, of is verstoord met genetische ingrepen kunnen bieden inzicht in de functies van de olfactorische systeem.Tot slot, dit werk kan inzicht geven in kunstmatige detectie van geuren als het openbaart optimale bemonsteringsmethoden voor geuren in complexe omgevingen.

Toekomstige werkzaamheden:

Hier, we toonden dat antenne verkeer gegevens snel kan worden verkregen en geanalyseerd: belangrijke gedrag reacties uit de gegevens die zijn gegenereerd door onze software kunnen worden opgespoord, en verschillende gebieden van nader onderzoek werden geïdentificeerd.

Het tijdsverloop van stimulus-ontlokte antenne hoek afwijkingen en herstel op basislijn en eventuele effecten van stimulus-sluiting rebound en haar afhankelijkheid van geur concentratie kunnen worden onderzocht en mathematisch worden gemodelleerd. Bovendien, wijzigingen van antenne bewegingen geïnduceerd door appetitive of aversieve conditionering kan ook worden beoordeeld met de software.

Betere differentiatie van geuren kan ook worden onderzocht. In deze studie, geuren, in pure zowel 35 x verdunde versies ontlokte soortgelijke reacties: de antennes, gemiddeld, leek te snel trekken weg van de bron van de geur en pre geur basislijnen terugkomen na een paar seconden. Wij speculeren dat zelfs de verdunde versies zeer sterke olfactorische stimuli voor de bijen geweest. Als de waarde true is, kan een breder scala van concentraties worden gebruikt om te bepalen als de antennal reacties de geuren onderscheiden. Bovendien kan meer verfijnde analyse beter onthullen verschillen in antennal bewegingen in reactie op de verschillende geuren. We hebben de gegevensbestanden gebruikt voor het genereren van cijfers in dit manuscript beschikbaar aan interesse onderzoekers op de SwarmSight website⁶⁷gemaakt.

Worden bovendien, terwijl buiten de werkingssfeer van dit manuscript, de software zou kunnen uitgebreid verwerken van video’s van dieren geplaatst in kamers met dubbele spiegels schuin 45 ° (Zie Figuur 1 d bijvoorbeeld). Dit kan worden gebruikt voor het nauwkeurig lokaliseren en bijhouden van de aanhangsels en hun beweging in de 3D-ruimte. Echter, de algoritmes voor 3D-tracking zouden moeten efficiënt: (a) eenduidig tussen meerdere antennes wanneer ze zichtbaar in een van de zijspiegels, (b) correct voor onvolkomenheden in de hoeken van de spiegel zijn, en (c) rekening voor verstoringen als gevolg van de camera positionering.

Ten slotte, extra winsten in positie nauwkeurigheid kan worden gerealiseerd via het gebruik van een Kalman filter⁶⁸, welke modellen en maakt gebruik van fysieke statusgegevens zoals aanhangsel snelheid en versnelling te beperken voorspelde locaties. Eventuele winsten in nauwkeurigheid dient echter tegen eventuele verlagingen in snelheid als gevolg van extra berekeningen worden geëvalueerd.

Conclusie:

Veel insecten gebruiken antennes actief proeven van vluchtige stoffen in hun lokale omgeving. Patronen in antennal bewegingen kunnen inzicht geven in de perceptie van de insecten geur en hoe het wordt beïnvloed door airconditioning, toxische verbindingen en genetische veranderingen. Proboscis bewegingen zijn ook gebruikt om het beoordelen van geur, perceptie en de modulatie. Echter snel verkrijgen van grote hoeveelheden met een hoge resolutie aanhangsel verkeer gegevens moeilijk geweest. Hier wordt een protocollen en een softwareprogramma dat automatiseert deze taak beschreven. Kortom, hebben we gemaakt en aangetoond hoe de combinatie van goedkope hardware, een gemeenschappelijke dierlijke voorbereiding, en de open-source software kunnen worden gebruikt snel hoge resolutie insect aanhangsel beweging om gegevens te verkrijgen. De output van de software, hoe het menselijke beoordelaars in snelheid en nauwkeurigheid overtreft, en hoe de uitvoergegevens kan worden geanalyseerd en gevisualiseerd werden getoond.

Disclosures

The authors have nothing to disclose.

Acknowledgements

JB, SMC en RCG werden ondersteund door de NIH R01MH1006674 aan SMC en NIH R01EB021711 aan RCG. CMJ en BHS werden ondersteund door NSF ideeën lab project op “kraken de olfactorische code” aan BHS. Wij danken Kyle Steinmetz, Taryn Oboyle en Rachael Halby voor hun hulp bij het uitvoeren van dit onderzoek.

Materials

Insect harness	N/A	N/A	Use materials needed for Protocol sections 1-3.1.1 of Smith & Burden (2014)
Odor delivery source	N/A	N/A	Use materials needed for Protocol section 3 of Smith & Burden (2014)
Vacuum source	N/A	N/A	Use materials needed for Protocol section 3 of Smith & Burden (2014)
LED connected to odor delivery source	N/A	N/A	Use materials needed for Protocol section 3 of Smith & Burden (2014)
Low Voltage Soldering Iron	Stannol	Low Voltage Micro Soldering Iron 12V, 8W
DC Power Supply	Tekpower	HY152A
White sheet of paper	Georgia-Pacific	998606	Any white sheet of paper can be used as alternative
Tripod	AmazonBasics	50-Inch Lightweight Tripod	Optional
Camera	Genius	WideCam F100	FLIR Flea3 or another camera with manual focus can be used.
Camera software	Genius	N/A	Software comes with camera. On MacOS, Photo Booth app can be used to record videos.
Camera shutter speed software	Genius	N/A	Genius camera software allows shutter speed setting. In Mac OS, iGlasses by ecamm can be used instead: http://www.ecamm.com/mac/iglasses/
Windows Operating System	Microsoft	Windows 7 Professional	Versions 7 or later are compatible. Oracle VirtualBox, Parallels Desktop, or VMWare Fusion can be used to create a Windows virtual machine in MacOS environments.
SwarmSight software	SwarmSight	Appendage Tracking	Download from http://SwarmSight.org
R software	R Project	R 3.4.0	Download from: https://cran.r-project.org/bin/windows/base/
R Studio software	RStudio	RStudio Desktop	Download from: https://www.rstudio.com/products/rstudio/download/

References

Hansson, B. S. . Insect Olfaction. , (1999).
Masson, C., Mustaparta, H. Chemical information processing in the olfactory system of insects. Physiol Rev. 70 (1), 199-245 (1990).
Firestein, S. How the olfactory system makes sense of scents. Nature. 413 (6852), 211-218 (2001).
Schneider, D. Insect antennae. Annu Rev Entomol. 9 (1), 103-122 (1964).
Kaissling, K. Chemo-electrical transduction in insect olfactory receptors. Annu Rev Neurosci. 9 (1), 121-145 (1986).
Nakagawa, T., Vosshall, L. B. Controversy and consensus: noncanonical signaling mechanisms in the insect olfactory system. Curr Opin Neurobiol. 19 (3), 284-292 (2009).
Heisenberg, M. What do the mushroom bodies do for the insect brain? An introduction. Learn Memory. 5 (1), 1-10 (1998).
Zars, T. Behavioral functions of the insect mushroom bodies. Curr Opin Neurobiol. 10 (6), 790-795 (2000).
Heisenberg, M. Mushroom body memoir: from maps to models. Nature Rev Neurosci. 4 (4), 266-275 (2003).
Pelletier, Y., McLEOD, C. D. Obstacle perception by insect antennae during terrestrial locomotion. Physiol Entomol. 19 (4), 360-362 (1994).
Suzuki, H. Antennal movements induced by odour and central projection of the antennal neurones in the honey-bee. J Insect Physiol. 21 (4), 831-847 (1975).
Wachowiak, M. All in a sniff: olfaction as a model for active sensing. Neuron. 71 (6), 962-973 (2011).
Bruce, T. J., Wadhams, L. J., Woodcock, C. M. Insect host location: a volatile situation. Trends Plant Sci. 10 (6), 269-274 (2005).
Lunau, K., Wacht, S. Optical releasers of the innate proboscis extension in the hoverfly Eristalis tenax L.(Syrphidae, Diptera). J Comp Physiol [A]. 174 (5), 575-579 (1994).
Szucsich, N. U., Krenn, H. W. Morphology and function of the proboscis in Bombyliidae (Diptera, Brachycera) and implications for proboscis evolution in Brachycera. Zoomorphology. 120 (2), 79-90 (2000).
Harder, L. D. Measurement and estimation of functional proboscis length in bumblebees (Hymenoptera: Apidae). Can J Zool. 60 (5), 1073-1079 (1982).
Hobbs, G. A. Further studies on the food-gathering behaviour of bumble bees (Hymenoptera: Apidae). Canadian Entomol. 94 (05), 538-541 (1962).
Krenn, H. W. Functional morphology and movements of the proboscis of Lepidoptera (Insecta). Zoomorphology. 110 (2), 105-114 (1990).
Krenn, H. W. Feeding mechanisms of adult Lepidoptera: structure, function, and evolution of the mouthparts. Annu Rev Entomol. 55, 307-327 (2010).
Hepburn, H. R. Proboscis extension and recoil in Lepidoptera. J Insect Physiol. 17 (4), 637-656 (1971).
Ramírez, G., Fagundez, C., Grosso, J. P., Argibay, P., Arenas, A., Farina, W. M. Odor Experiences during Preimaginal Stages Cause Behavioral and Neural Plasticity in Adult Honeybees. Front Behav Neurosci. 10, (2016).
Takeda, K. Classical conditioned response in the honey bee. J Insect Physiol. 6 (3), 168-179 (1961).
Bitterman, M. E., Menzel, R., Fietz, A., Schäfer, S. Classical conditioning of proboscis extension in honeybees (Apis mellifera). J Comp Psychol. 97 (2), 107 (1983).
Lambin, M., Armengaud, C., Raymond, S., Gauthier, M. Imidacloprid-induced facilitation of the proboscis extension reflex habituation in the honeybee. Arch Insect Biochem Physiol. 48 (3), 129-134 (2001).
Masterman, R., Smith, B. H., Spivak, M. Brood odor discrimination abilities in hygienic honey bees (Apis mellifera L.) using proboscis extension reflex conditioning. J Insect Behav. 13 (1), 87-101 (2000).
Rix, R. R., Christopher Cutler, G. Acute Exposure to Worst-Case Concentrations of Amitraz Does Not Affect Honey Bee Learning, Short-Term Memory, or Hemolymph Octopamine Levels. J Econ Entomol. 110 (1), 127-132 (2017).
Urlacher, E., et al. Measurements of Chlorpyrifos Levels in Forager Bees and Comparison with Levels that Disrupt Honey Bee Odor-Mediated Learning Under Laboratory Conditions. J Chem Ecol. 42 (2), 127-138 (2016).
Charbonneau, L. R., Hillier, N. K., Rogers, R. E. L., Williams, G. R., Shutler, D. Effects of Nosema apis, N. ceranae, and coinfections on honey bee (Apis mellifera) learning and memory. Sci Rep. 6, (2016).
Urlacher, E., Devaud, J. -. M., Mercer, A. R. C-type allatostatins mimic stress-related effects of alarm pheromone on honey bee learning and memory recall. PLOS ONE. 12 (3), e0174321 (2017).
Eiri, D. M., Nieh, J. C. A nicotinic acetylcholine receptor agonist affects honey bee sucrose responsiveness and decreases waggle dancing. J Exp Biol. 215 (12), 2022-2029 (2012).
Liang, C. -. H., Chuang, C. -. L., Jiang, J. -. A., Yang, E. -. C. Magnetic Sensing through the Abdomen of the Honey bee. Sci Rep. 6, (2016).
Erber, J., Pribbenow, B., Bauer, A., Kloppenburg, P. Antennal reflexes in the honeybee: tools for studying the nervous system. Apidologie. 24, 283 (1993).
Erber, J., Kierzek, S., Sander, E., Grandy, K. Tactile learning in the honeybee. J Comp Physiol [A]. 183 (6), 737-744 (1998).
Erber, J., Pribbenow, B. Antennal Movements in the Honeybee: How Complex Tasks are Solved by a Simple Neuronal System. Prerational Intelligence: Adaptive Behavior and Intelligent Systems Without Symbols and Logic, Volume 1, Volume 2 Prerational Intelligence: Interdisciplinary Perspectives on the Behavior of Natural and Artificial Systems, Volume 3. , 109-121 (2000).
McAfee, A., Collins, T. F., Madilao, L. L., Foster, L. J. Odorant cues linked to social immunity induce lateralized antenna stimulation in honey bees (Apis mellifera L). Sci Rep. 7, (2017).
Dötterl, S., Vater, M., Rupp, T., Held, A. Ozone Differentially Affects Perception of Plant Volatiles in Western Honey Bees. J Chem Ecol. 42 (6), 486-489 (2016).
Wang, Z., et al. Honey Bees Modulate Their Olfactory Learning in the Presence of Hornet Predators and Alarm Component. PLOS ONE. 11 (2), e0150399 (2016).
Søvik, E., Plath, J. A., Devaud, J. -. M., Barron, A. B. Neuropharmacological Manipulation of Restrained and Free-flying Honey Bees, Apis mellifera. J Vis Exp. (117), e54695 (2016).
Fang, Y., Du, S., Abdoola, R., Djouani, K., Richards, C. Motion Based Animal Detection in Aerial Videos. Procedia Computer Science. 92, 13-17 (2016).
Miller, B., Lim, A. N., Heidbreder, A. F., Black, K. J. An Automated Motion Detection and Reward System for Animal Training. Cureus. 7 (12), (2015).
Birgiolas, J., Jernigan, C. M., Smith, B. H., Crook, S. M. SwarmSight: Measuring the temporal progression of animal group activity levels from natural-scene and laboratory videos. Behav Res Methods. , (2016).
Stern, U., Zhu, E. Y., He, R., Yang, C. -. H. Long-duration animal tracking in difficult lighting conditions. Sci Rep. 5, 10432 (2015).
Macrì, S., Mainetti, L., Patrono, L., Pieretti, S., Secco, A., Sergi, I. A tracking system for laboratory mice to support medical researchers in behavioral analysis. Engineering in Medicine and Biology Society (EMBC), 2015 37th Annual International Conference of the IEEE. , 4946-4949 (2015).
Crall, J. D., Gravish, N., Mountcastle, A. M., Combes, S. A. BEEtag: a low-cost, image-based tracking system for the study of animal behavior and locomotion. PLOS ONE. 10 (9), e0136487 (2015).
York, J. M., Blevins, N. A., McNeil, L. K., Freund, G. G. Mouse short-and long-term locomotor activity analyzed by video tracking software. J Vis Exp. (76), e50252 (2013).
Noldus, L. P., Spink, A. J., Tegelenbosch, R. A. EthoVision: a versatile video tracking system for automation of behavioral experiments. Behav Res Methods. 33 (3), 398-414 (2001).
Egnor, S. E. R., Branson, K. Computational Analysis of Behavior. Annu Rev Neurosci. 39 (1), 217-236 (2016).
Cholé, H., Junca, P., Sandoz, J. -. C. Appetitive but not aversive olfactory conditioning modifies antennal movements in honeybees. Learn Memory. 22 (12), 604-616 (2015).
Shen, M., et al. Interactive tracking of insect posture. Pattern Recognit. 48 (11), 3560-3571 (2015).
Mujagić, S., Würth, S. M., Hellbach, S., Dürr, V. Tactile conditioning and movement analysis of antennal sampling strategies in honey bees (apis mellifera l). J Vis Exp. (70), (2012).
Shen, M., Szyszka, P., Deussen, O., Galizia, C. G., Merhof, D. Automated tracking and analysis of behavior in restrained insects. J Neurosci Methods. 239, 194-205 (2015).
Cucchiara, R., Grana, C., Piccardi, M., Prati, A. Detecting moving objects, ghosts, and shadows in video streams. IEE Trans Pattern Anal Mach. 25 (10), 1337-1342 (2003).
Shaw, J. R. QuickFill: An efficient flood fill algorithm. The Code Project. , (2004).
Zhang, H., Wu, K. A vehicle detection algorithm based on three-frame differencing and background subtraction. Computational Intelligence and Design (ISCID), 2012 Fifth International Symposium on Computational Intelligence and Design. 1, 148-151 (2012).
Elgammal, A., Harwood, D., Davis, L. Non-parametric Model for Background Subtraction. Computer Vision – ECCV 2000. , 751-767 (2000).
Zeileis, A., Grothendieck, G. zoo: S3 infrastructure for regular and irregular time series. arXiv preprint math/0505527. , (2005).
Smith, B. H., Burden, C. M. A Proboscis Extension Response Protocol for Investigating Behavioral Plasticity in Insects: Application to Basic, Biomedical, and Agricultural Research. J Vis Exp. (91), e51057 (2014).
How to split a video or audio file with VLC Player. Darktips Available from: https://darktips.com/split-video-audio-file/ (2012)
Team, R. s. . RStudio: integrated development for R. , (2015).
Venables, W. N., Ripley, B. D. . Modern Applied Statistics with S-PLUS. , (2013).
Smith, B. H., Menzel, R. An Analysis of Variability in the Feeding Motor Program of the Honey Bee; the Role of Learning in Releasing a Modal Action Pattern. Ethology. 82 (1), 68-81 (1989).
Smith, B. H. An analysis of blocking in odorant mixtures: an increase but not a decrease in intensity of reinforcement produces unblocking. Behavioral neuroscience. 111 (1), 57 (1997).
. SwarmSight Antenna Tracking CSV files Available from: https://github.com/JustasB/SwarmSight/tree/master/Examples/Appendage%20Tracking/Birgiolas%20et.%20al.%20(2015) (2017)
Kalman, R. E. A New Approach to Linear Filtering and Prediction Problems. J Basic Eng. 82 (1), 35-45 (1960).

Play Video

PDF

DOI

DOWNLOAD MATERIALS LIST

Cite This Article

Birgiolas, J., Jernigan, C. M., Gerkin, R. C., Smith, B. H., Crook, S. M. SwarmSight: Real-time Tracking of Insect Antenna Movements and Proboscis Extension Reflex Using a Common Preparation and Conventional Hardware. J. Vis. Exp. (130), e56803, doi:10.3791/56803 (2017).

Automatically Generated