Een veldprimer voor het monitoren van benthische ecosystemen met behulp van structuur-uit-beweging fotogrammetrie
Summary
We bieden een gedetailleerd protocol voor het uitvoeren van fotogrammetrie-onderzoeken van de onderwaterstructuur uit beweging om 3D-modellen en orthomosaics te genereren.
Abstract
Structure-from-motion (SfM) fotogrammetrie is een techniek die wordt gebruikt om driedimensionale (3D) reconstructies te genereren uit een reeks tweedimensionale (2D) beelden. SfM-methoden worden steeds populairder als een niet-invasieve manier om veel systemen te monitoren, waaronder antropogene en natuurlijke landschappen, geologische structuren en zowel terrestrische als aquatische ecosystemen. Hier wordt een gedetailleerd protocol geboden voor het verzamelen van SfM-beelden om 3D-modellen van benthische habitats te genereren. Bovendien zijn de kosten, tijdsefficiëntie en uitvoerkwaliteit van het gebruik van een DSLR-camera (Digital Single Lens Reflex) vergeleken met een goedkopere actiecamera. Er werd een afweging waargenomen tussen rekentijd en resolutie, waarbij de DSLR-camera modellen produceerde met meer dan twee keer de resolutie, maar ongeveer 1,4 keer langer duurde om te produceren dan de actiecamera. Deze inleiding is bedoeld om een grondige beschrijving te geven van de stappen die nodig zijn om SfM-gegevens te verzamelen in benthische habitats voor degenen die niet bekend zijn met de techniek en voor degenen die al vergelijkbare methoden gebruiken.
Introduction
Ecosysteemprocessen zijn van nature dynamisch en kunnen moeilijk te kwantificeren zijn. Het afgelopen decennium is er een golf van nieuwe technologieën geweest voor het vastleggen van ecosystemen en hun dynamiek op verschillende schalen, van 3D-laserscanning van individuele ecosysteemkenmerken tot satelliet-teledetectie van grote gebieden 1,2,3. In benthische habitats is structuur nauw verbonden met ecosysteemfunctie8, waardoor hulpmiddelen die tegelijkertijd geometrie en gemeenschapsstructuur mogelijk maken, bijzonder waardevol zijn voor het begrijpen van ecologische dynamiek. Veel moderne benaderingen kunnen echter niet worden gebruikt in aquatische systemen vanwege de fysieke eigenschappen van water (bijv. Breking, vervorming, troebelheid). Technieken, zoals LiDAR (Light Detection and Ranging) en sommige methoden voor luchtonderzoek, kunnen geschikt zijn op grote ruimtelijke schalen, maar kunnen niet de resolutie verkrijgen die nodig is om fijne schaalveranderingen in benthische habitats te beoordelen. Structure-from-Motion (SfM) fotogrammetriemethoden zijn onlangs aangepast om grootschalige orthomosaics met hoge resolutie en 3D-oppervlaktemodellen van onderwaterhabitats 4,5,6,7 te produceren.
SfM-fotogrammetrie is een relatief goedkope, eenvoudige, niet-invasieve en herhaalbare methode die het mogelijk maakt om grootschalige, hoge-resolutierecords van het benthische milieu in aquatische ecosystemen te genereren9. SfM gebruikt een reeks 2D-afbeeldingen om 3D-modelreconstructies te genereren. De modellen die uit SfM worden gegenereerd, kunnen worden gebruikt om gegevens te verzamelen over de structurele complexiteit (bijv. Rugosity, dimensionaliteit)4,5,10,11,12 en gemeenschapsstructuur (bijv. Soortensamenstelling, populatiedemografie)13,14,15 van benthische ecosystemen. Bovendien, omdat deze methode relatief goedkoop, snel en herhaalbaar is, kan deze door zowel wetenschappers als niet-wetenschappers worden gebruikt om waardevolle, objectieve informatie over deze ecosystemen te verzamelen. Daarom is deze methode een haalbare techniek voor gebruik in citizen science-projecten waar standaardisatie van steekproefinspanning, minimalisering van vooringenomenheid, betrokkenheid van deelnemers en trainingsgemak van vitaal belang zijn voor de kwaliteit van gegevens en het algehele succes16,17.
Dit artikel bevat een gedetailleerd protocol voor het uitvoeren van SfM-onderzoeken onder water. Tegelijkertijd is het gebruik van een DSLR-camera vergeleken met dat van een meer kosteneffectieve ‘actiecamera’, en de relatieve voor- en nadelen van elk worden geschetst. Het algemene doel is om wetenschappers en niet-wetenschappers zo snel mogelijk vertrouwd te maken met benthische SfM-onderzoeksmethoden door een eenvoudig, algemeen gebruikt protocol te bieden, waardoor het gebruik van deze methode op grotere schaal wordt bevorderd. Voor voorbeelden van studies die variaties van deze methode hebben toegepast om ecologische gemeenschappen onder water te bestuderen, zie Burns et al. (2015)4, Storlazzi et al. (2016)18, Ventura et al (2016 en 2018)19,20, Edwards et al. (2017)14, George et al. (2018)21, Anelli et al. (2019)22 en Torres-Pulliza et al. (2020)10.
De hier beschreven methode vereist een snorkel- of SCUBA-team voor twee personen. Nadat de onderzoekslocatie is geselecteerd, wordt een spoel lijn (figuur 1A) in het midden van de site geplaatst en worden kalibratietegels (figuur 1B) op ~2 m van het midden verdeeld. Eén persoon (de zwemmer) zwemt met de camera en legt beelden van de site vast, terwijl de tweede persoon (de assistent) de spoel in het midden van het perceel verzorgt (figuur 1C). Eerst verbindt de zwemmer de camera via de lijn met de spoel en begint dan continu foto’s te maken van de benthos terwijl hij met zijn gezicht naar beneden en naar voren zwemt om de lijn van de spoel af te wikkelen. De zwemmer moet te allen tijde een verticale afstand van ~ 1 m boven het substraat aanhouden en zijn positie aanpassen aan die van de topografie tijdens het zwemmen. Belangrijk is dat de lijn die de spoel en de camera verbindt te allen tijde strak moet blijven om een gelijkmatige afstand in de spiraal te creëren terwijl de zwemmer het perceel onderzoekt. De assistent houdt de spoel in een stabiele, rechtopstaande positie en zorgt ervoor dat de spoel niet roteert en dat de lijn niet in de knoop raakt.
Zodra de lijn volledig is afgewikkeld, stopt de zwemmer, draait en zwemt in de tegenovergestelde richting om de lijn rond de spoel terug te deinzen. Terwijl de zwemmer van richting verandert, draait de assistent de spoel om de lijn in te winden, precies 180 ° om exacte overlapping van het uitgaande pad te voorkomen. Zodra de zwemmer zo dicht mogelijk bij het midden is, wordt de camera losgemaakt van de lijn en neemt de assistent de spoel en lijn en zwemt weg van het centrale deel van de site. De zwemmer voltooit vervolgens het beeld van het midden van het plot door de camera in een kleine spiraal over het midden te bewegen. Hoewel er verschillende manieren zijn om een gebied effectief in beeld te brengen, is de hier beschreven spoel-en-lijnmethode robuust in zelfs niet-ideale omgevingsomstandigheden waar schokkerig oppervlaktewater, deining of slecht zicht anders de gegevensverzameling zou kunnen belemmeren. In deze scenario’s houdt deze methode snorkelaars / duikers vast en zorgt voor een hoge overlap van beelden door de zwemmer op een gecontroleerd pad te houden.
Protocol
Representative Results
Discussion
Deze studie toont aan dat zowel de DSLR-camera als de actiecamera modellen produceren met een resolutie van meer dan 0,5 mm / pixel in minder dan 10 uur verwerkingstijd op een standaard desktopcomputer. De belangrijkste afweging tussen de DSLR en de actiecamera, afgezien van de kosten, is respectievelijk een fijnere resolutie versus een snellere verwerkingstijd. De gerapporteerde verwerkingstijden omvatten echter alleen de computationele verwerking. Dus, hoewel de rekentijd minder is voor de actiecamera, is er een aanzienlijke hoeveelheid tijd (10-20 min) geïnvesteerd in beeldextractie uit de video’s die niet vereist is met de DSLR. Een alternatief is om de actiecamera in de continu-opnamemodus te gebruiken om beeldextractie te voorkomen. De continue opnamemodus werd in dit voorbeeld niet gebruikt, omdat de actiecamera alleen met 2 fps kan fotograferen, wat een aanzienlijk langzamere zwemsnelheid vereist om voldoende beelden te verzamelen om een compleet model te bouwen. In dit opzicht is er een afweging tussen langere tijd in het veld met behulp van de continue opnamemodus versus langere tijd op de computer, het extraheren van afbeeldingen, bij gebruik van de videomodus.
Voordelen van de actiecamera zijn onder andere betaalbaarheid en gemak van transport en bediening onder water. Het grote voordeel van de DSLR is dat het beelden met een hogere resolutie produceert; daarom worden DSLR-camera’s aanbevolen boven actiecamera’s wanneer de eerste niet onbetaalbaar is. Het soort vragen dat een studie probeert te beantwoorden, zal ook belangrijk zijn bij het bepalen van de gebruikte methode. Een actiecamera kan bijvoorbeeld de voorkeur hebben in omgevingen die relatief homogeen zijn (bijvoorbeeld zeegrasvelden, dode koraal/ puinhabitats), of waar alleen brede gemeenschapsstatistieken (zoals overvloed, diversiteit) worden beoordeeld op grote ruimtelijke schalen. Een DSLR-camera kan echter worden ingezet in gevallen waarin het volgen van fijnmazige veranderingen in individuele organismen of substraten van belang is.
Omdat dit een veldmethode is, zijn de modeloutputs afhankelijk van verschillende omgevingsfactoren, zoals verlichting, waterhelderheid, oppervlakteomstandigheden, hoeveelheid piek en beweging van vissen of niet-stationaire benthische structuren (bijv. Zeegras). Hoewel er geen absolute drempels zijn van wanneer het gepast is om deze methode te gebruiken, produceren licht bewolkte dagen met een hoge waterhelderheid, kalme oppervlakteomstandigheden en weinig piek meestal de beste modellen. Bovendien is er een limiet aan de minimale diepte die vereist is voor deze methoden. Deze methoden werken niet goed onder omstandigheden waarin er minder dan 0,5 m water is vanwege de lage overlap tussen foto’s en minder onderscheidende kenmerken per foto. Dit benadrukt echter een ander voordeel van de actiecamera, namelijk dat ze kleiner zijn en dus gemakkelijker te gebruiken zijn op ondiepere diepten. Bovendien kunnen een spoel met een kleinere diameter en een hogere framesnelheid (of een groothoeklens) de beeldoverlapping in zeer ondiepe omstandigheden verbeteren9.
Veel andere gegevenstypen kunnen met deze aanpak worden geïntegreerd. Orthomosaics zijn bijvoorbeeld gebruikt om de ruimtelijke dichtheid van moleculaire gegevens (bijv. Genen en metabolieten) op koralen 24 en mensen 25 te tonen met behulp van de open source-software ‘ili’26. Hetzelfde platform kan ook worden gebruikt om de ruimtelijke dichtheden van dieren, micro-organismen, virussen en / of chemicaliën in het milieu in kaart te brengen. Andere voorbeelden hebben SfM gebruikt voor het ruimtelijk annoteren van benthische soorten op orthomosaics met behulp van geografische informatiesysteemsoftware10. Bovendien kunnen de door SfM gegenereerde 3D-modellen worden gebruikt om habitatkenmerken zoals rugositeit en fractaldimensie te schatten. Inderdaad, de hier beschreven methoden zijn onlangs gebruikt om een nieuwe meetkundige theorie voor habitatoppervlakken af te leiden10. Ten slotte worden orthomosaics gebruikt als invoeroppervlakken voor ruimtelijk expliciete computationele modellen, waardoor dynamische simulaties over het 3D-oppervlak van het model kunnen worden gelegd. Door gemakkelijk grote afbeeldingen en 3D-representaties van benthische habitats te genereren, konden mariene wetenschappers tot nu toe onvoorstelbare vragen beantwoorden3.
Over het algemeen is hier een gedetailleerd protocol voor het uitvoeren van onderwater SfM-fotogrammetrie met DSLR-camera’s of meer kosteneffectieve actiecamera’s. Deze methoden kunnen door wetenschappers worden gebruikt voor een breed scala aan doeleinden, van het extraheren van gegevens over benthische ecosystemen tot het ontwikkelen van 3D-invoeroppervlakken voor in silico-simulaties . Deze protocollen kunnen echter ook door niet-wetenschappers worden gebruikt als onderdeel van citizen science-inspanningen om waardevolle informatie te verzamelen over patronen van biodiversiteit, habitatcomplexiteit, gemeenschapsstructuur en andere ecologische statistieken.
Divulgations
The authors have nothing to disclose.
Acknowledgements
We danken de Paul G. Allen Family Foundation voor het financieren van dit onderzoek en zijn Ruth Gates dankbaar voor de inspiratie om technologie te gebruiken om riffen te helpen behouden. We bedanken ook NOAA en andere medewerkers voor de doordachte discussie over deze methoden. Tot slot bedanken we Catie Foley en Patrick Nichols voor het leveren van de drone- en onderwatervideo van deze methoden.
We erkennen de National Fish and Wildlife Foundation als financieringspartner in dit werk.
Materials
| Action camera (GoPro Hero7 Black) | GoPro | Could be any waterproof action camera | |
| Adobe Lightroom | Adobe | Color correction | |
| Calibration tiles ( flat PVC board cut to size for Agisoft targets. Attach a dive weight underneath if expecting waves) | Any negatively buoyant object of known size and color. We recommend using the scale marker templates available from Agisoft Metashape software (v.1.6.0). | ||
| DSLR camera (Canon EOS Rebel SL3 ) | Canon | 3453C002AA | Could be any DSLR camera in a underwater housing |
| Line (plastic clothes line filament) | Any negatively buoyant line that is strong enough to withstand field use | ||
| Micro SDXC memory card (for GoPro) | |||
| Oceanic Veo 2.0 | Oceanic | Digital depth gauge | |
| SDXC memory card (for DSLR) | Any SDXC memory card should work, so long as there is enough space to hold all the pictures necessary to build the model | ||
| Spool (2 inch-long section of 8 inch diameter PVC pipe which was attached to a 3 feet section of 1 inch PVC pipe to form the stem | Any negatively buoyant, round object of the desired diameter | ||
| Underwater camera housing for DSLR (Ikelite 200DLM/C Underwater TTL Housing) | Ikelite | 6970.09 | Should be the specific water housing for the DSLR make and model |
| Windows 10 desktop computer with an Intel i9-9900K 8-core CPU, two Nvidia GeForceRTX 2070 SUPER GPUs, and 128 GB of RAM. | Processing |
References
- Levy, J., Hunter, C., Lukacazyk, T., Franklin, E. C. Assessing the spatial distribution of coral bleaching using small unmanned aerial systems. Coral Reefs. 37 (2), 373-387 (2018).
- Muller-Karger, F. E., et al. Satellite sensor requirements for monitoring essential biodiversity variables of coastal ecosystems. Ecological Applications. 28 (3), 749-760 (2018).
- Dornelas, M., et al. Towards a macroscope: Leveraging technology to transform the breadth, scale and resolution of macroecological data. Global Ecology and Biogeography. 28, 1937-1948 (2019).
- Burns, J. H. R., Delparte, D., Gates, R. D., Takabayashi, M. Integrating structure-from-motion photogrammetry with geospatial software as a novel technique for quantifying 3D ecological characteristics of coral reefs. PeerJ. 2015 (3), 1077 (2015).
- House, J. E., et al. Moving to 3D: Relationships between coral planar area, surface area and volume. PeerJ. 2018 (6), 4280 (2018).
- Carlot, J., et al. Community composition predicts photogrammetry-based structural complexity on coral reefs. Coral Reefs. , 1-9 (2020).
- Young, G. C., Dey, S., Rogers, A. D., Exton, D. Cost and time-effective method for multi-scale measures of rugosity, fractal dimension, and vector dispersion from coral reef 3D models. PloS ONE. 12 (4), 0175341 (2017).
- Wilson, S. K., Robinson, J. P. W., Chong-Seng, K., Robinson, J., Graham, N. A. J. Boom and bust of keystone structure on coral reefs. Coral Reefs. 38 (4), 625-635 (2019).
- Pizarro, O., Friedman, A., Bryson, M., Williams, S. B., Madin, J. A simple, fast, and repeatable survey method for underwater visual 3D benthic mapping and monitoring. Ecology and Evolution. 7 (6), 1770-1782 (2017).
- Torres-Pulliza, D., et al. A geometric basis for surface habitat complexity and biodiversity. Nature Ecology & Evolution. 4, 1495-1501 (2020).
- Bayley, D., Mogg, A., Koldewey, H., Purvis, A. Capturing complexity: field-testing the use of ‘structure from motion’derived virtual models to replicate standard measures of reef physical structure. PeerJ. 2019 (7), 6540 (2019).
- Leon, J. X., Roelfsema, C. M., Saunders, M. I., Phinn, S. R. Measuring coral reef terrain roughness using ‘Structure-from-Motion’ close-range photogrammetry. Geomorphology. 242, 21-28 (2015).
- Burns, J. H. R., et al. Assessing the impact of acute disturbances on the structure and composition of a coral community using innovative 3D reconstruction techniques. Methods in Oceanography. 15-16, 49-59 (2016).
- Edwards, C. B., et al. Large-area imaging reveals biologically driven non-random spatial patterns of corals at a remote reef. Coral Reefs. 36, 1291-1305 (2017).
- Piazza, P., et al. Underwater photogrammetry in Antarctica: long-term observations in benthic ecosystems and legacy data rescue. Polar Biology. 42 (6), 1061-1079 (2019).
- Bonney, R., et al. Citizen science: A developing tool for expanding science knowledge and scientific literacy. BioScience. 59 (11), 977-984 (2009).
- Dickinson, J. L., Zuckerberg, B., Bonter, D. N. Citizen science as an ecological research tool: Challenges and benefits. Annual Review of Ecology, Evolution, and Systematics. 41 (1), 149-172 (2010).
- Storlazzi, C. D., Dartnell, P., Hatcher, G., Gibbs, A. E. End of the chain? Rugosity and fine-scale bathymetry from existing underwater digital imagery using structure-from-motion (SfM) technology. Coral Reefs. 35 (3), 889-894 (2016).
- Ventura, D., Lasinio, G. J., Belluscio, A., Ardizzone, G. A low-cost drone based application for identifying and mapping of coastal fish nursery grounds Feeding ecology View project Habitat use of juvenile Diplodus species View project. Estuarine Coastal and Shelf Science. 171, 85-98 (2016).
- Ventura, D., Bonifazi, A., Gravina, M. F., Belluscio, A., Ardizzone, G. Mapping and classification of ecologically sensitive marine habitats using unmanned aerial vehicle (UAV) imagery and object-based image analysis (OBIA). Remote Sensing. 10 (9), 1331 (2018).
- George, E. E., et al. Relevance of coral geometry in the outcomes of the coral-algal benthic war. bioRxiv. , (2018).
- Anelli, M., et al. Towards new applications of underwater photogrammetry for investigating coral reef morphology and habitat complexity in the Myeik Archipelago, Myanmar. Geocarto International. 34 (5), 459-472 (2017).
- Suka, R., et al. Processing photomosaic imagery of coral reefs using structure-from-motion standard operating procedures. U.S. Dept. of Commerce, NOAA Technical Memorandum NOAA-TM-NMFS-PIFSC-93. , (2019).
- Galtier d’Auriac, I., et al. Before platelets: the production of platelet-activating factor during growth and stress in a basal marine organism. Proceedings of the Royal Society B: Biological Sciences. 285 (1884), 20181307 (2018).
- Bouslimani, A., et al. Molecular cartography of the human skin surface in 3D. Proceedings of the National Academy of Sciences of the United States of America. 112 (17), 2120-2129 (2015).
- Protsyuk, I., et al. 3D molecular cartography using LC-MS facilitated by Optimus and ‘ili software. Nature Protocols. 13 (1), 134-154 (2018).
