Un primer sul campo per il monitoraggio degli ecosistemi bentonici utilizzando la fotogrammetria struttura-da-movimento
Summary
Forniamo un protocollo dettagliato per condurre rilievi fotogrammetrici subacquei struttura-da-movimento per generare modelli 3D e ortomosaici.
Abstract
La fotogrammetria struttura-da-movimento (SfM) è una tecnica utilizzata per generare ricostruzioni tridimensionali (3D) da una sequenza di immagini bidimensionali (2D). I metodi SfM stanno diventando sempre più popolari come un modo non invasivo per monitorare molti sistemi, compresi i paesaggi antropogenici e naturali, le strutture geologiche e gli ecosistemi terrestri e acquatici. Qui viene fornito un protocollo dettagliato per la raccolta di immagini SfM per generare modelli 3D di habitat bentonici. Inoltre, sono stati confrontati i costi, l’efficienza in termini di tempo e la qualità di output dell’impiego di una fotocamera DSLR (Digital Single Lens Reflex) rispetto a una action cam meno costosa. È stato osservato un compromesso tra tempo computazionale e risoluzione, con la fotocamera DSLR che produce modelli con più del doppio della risoluzione, ma impiegando circa 1,4 volte più tempo per produrre rispetto alla action camera. Questo primer mira a fornire una descrizione approfondita dei passaggi necessari per raccogliere dati SfM in habitat bentonici per coloro che non hanno familiarità con la tecnica e per coloro che già utilizzano metodi simili.
Introduction
I processi ecosistemici sono naturalmente dinamici e possono essere difficili da quantificare. L’ultimo decennio ha visto un’impennata di nuove tecnologie per catturare gli ecosistemi e le loro dinamiche in una gamma di scale dalla scansione laser 3D delle singole caratteristiche dell’ecosistema al telerilevamento satellitare di vaste aree 1,2,3. Negli habitat bentonici, la struttura è intimamente connessa con la funzione dell’ecosistema8, rendendo gli strumenti che consentono contemporaneamente il monitoraggio della geometria e della struttura della comunità particolarmente preziosi per comprendere le dinamiche ecologiche. Tuttavia, molti approcci moderni non possono essere utilizzati nei sistemi acquatici a causa delle proprietà fisiche dell’acqua (ad esempio, rifrazione, distorsione, torbidità). Tecniche, come LiDAR (Light Detection and Ranging) e alcuni metodi di rilevamento aereo, possono essere appropriate su grandi scale spaziali, ma non possono acquisire la risoluzione necessaria per valutare i cambiamenti su scala fine negli habitat bentonici. I metodi di fotogrammetria Structure-from-Motion (SfM) sono stati recentemente adattati per produrre ortomosaici su larga scala e ad alta risoluzione e modelli di superficie 3D di habitat sottomarini 4,5,6,7.
La fotogrammetria SfM è un metodo relativamente economico, semplice, non invasivo e ripetibile che consente la generazione di registrazioni su larga scala e ad alta risoluzione dell’ambiente bentonico negli ecosistemi acquatici9. SfM utilizza una sequenza di immagini 2D per generare ricostruzioni di modelli 3D. I modelli generati da SfM possono essere utilizzati per raccogliere dati sulla complessità strutturale (ad esempio, rugosità, dimensionalità)4,5,10,11,12 e sulla struttura della comunità (ad esempio, composizione delle specie, demografia della popolazione)13,14,15 degli ecosistemi bentonici. Inoltre, poiché questo metodo è relativamente economico, rapido e ripetibile, può essere utilizzato sia da scienziati che da non scienziati per raccogliere informazioni preziose e obiettive su questi ecosistemi. Pertanto, questo metodo è una tecnica praticabile per l’uso in progetti di citizen science in cui la standardizzazione dello sforzo di campionamento, la minimizzazione dei pregiudizi, il coinvolgimento dei partecipanti e la facilità di formazione sono vitali per la qualità dei dati e il successo complessivo16,17.
Questo articolo fornisce un protocollo dettagliato per condurre indagini subacquee SfM. Allo stesso tempo, l’uso di una fotocamera DSLR è stato confrontato con quello di una “action camera” più economica e sono delineati i relativi vantaggi e svantaggi di ciascuno. L’obiettivo generale è quello di familiarizzare scienziati e non scienziati con i metodi di indagine bentonica SfM il più rapidamente possibile fornendo un protocollo semplice e comunemente usato, a sua volta, promuovendo l’uso di questo metodo più ampiamente. Per esempi di studi che hanno applicato variazioni di questo metodo per studiare le comunità ecologiche sottomarine, vedi Burns et al. (2015)4, Storlazzi et al. (2016)18, Ventura et al (2016 e 2018)19,20, Edwards et al. (2017)14, George et al. (2018)21, Anelli et al. (2019)22 e Torres-Pulliza et al. (2020)10.
Il metodo qui descritto richiede un team di snorkeling o SCUBA di due persone. Dopo aver selezionato il sito di rilevamento, una bobina di linea (Figura 1A) viene posizionata al centro del sito e le tessere di calibrazione (Figura 1B) sono distribuite ~ 2 m dal centro. Una persona (il nuotatore) nuota con la fotocamera e cattura le immagini del sito, mentre la seconda persona (l’assistente) cura il rocchetto al centro della trama (Figura 1C). In primo luogo, il nuotatore collega la fotocamera alla bobina attraverso la linea e poi inizia a scattare foto continue del benthos mentre nuota a faccia in giù e in avanti per srotolare la lenza dalla bobina. Il nuotatore deve mantenere una distanza verticale di ~ 1 m sopra il substrato in ogni momento, regolando la propria posizione per adattarsi a quella della topografia mentre nuota. È importante sottolineare che la linea che collega la bobina e la telecamera dovrebbe rimanere tesa in ogni momento per creare una spaziatura uniforme nella spirale mentre il nuotatore esamina la trama. L’assistente mantiene la bobina in una posizione stabile e verticale e garantisce che la bobina non ruoti e che la linea non si aggroviglia.
Una volta che la linea è stata completamente srotolata, il nuotatore si ferma, gira e nuota nella direzione opposta per rinculare la linea attorno alla bobina. Quando il nuotatore cambia direzione, l’assistente ruota la bobina per avvolgere la linea, esattamente di 180° per evitare l’esatta sovrapposizione del percorso in uscita. Una volta che il nuotatore è il più vicino possibile al centro, la telecamera viene staccata dalla linea e l’assistente prende la bobina e la linea e nuota lontano dalla parte centrale del sito. Il nuotatore termina quindi di immaginare il centro della trama spostando la fotocamera in una piccola spirale al centro. Mentre ci sono diversi modi per visualizzare un’area in modo efficace, il metodo spool-and-line qui descritto è robusto anche in condizioni ambientali non ideali in cui acque superficiali mosse, onde o scarsa visibilità potrebbero altrimenti impedire la raccolta dei dati. In questi scenari, questo metodo mantiene attaccati gli amanti dello snorkeling / subacquei e garantisce un’elevata sovrapposizione di immagini mantenendo il nuotatore su un percorso controllato.
Protocol
Representative Results
Discussion
Questo studio dimostra che sia la fotocamera DSLR che la action cam producono modelli con una risoluzione migliore di 0,5 mm / pixel in meno di 10 ore di tempo di elaborazione su un computer desktop standard. Il principale compromesso tra la DSLR e la action camera, a parte il costo, è rispettivamente una risoluzione più fine rispetto a tempi di elaborazione più rapidi. Tuttavia, i tempi di elaborazione riportati includono solo l’elaborazione computazionale. Pertanto, sebbene il tempo computazionale sia inferiore per la action camera, c’è una notevole quantità di tempo (10-20 minuti) investita nell’estrazione delle immagini dai video che non è richiesta con la DSLR. Un’alternativa consiste nell’utilizzare la action cam in modalità di scatto continuo per evitare l’estrazione delle immagini. La modalità di scatto continuo non è stata utilizzata in questo esempio, poiché la action cam può scattare solo a 2 fps, il che richiede una velocità di nuoto significativamente più lenta per raccogliere abbastanza immagini per costruire un modello completo. A questo proposito, esiste un compromesso tra un tempo più lungo sul campo utilizzando la modalità di scatto continuo rispetto a un tempo più lungo sul computer, estraendo immagini, quando si utilizza la modalità video.
I vantaggi della action cam includono convenienza e facilità di trasporto e funzionamento sott’acqua. Il vantaggio principale della DSLR è che produce immagini ad alta risoluzione; quindi, le fotocamere DSLR sono consigliate rispetto alle action cam quando la prima non è proibitiva dal punto di vista dei costi. I tipi di domande che uno studio cerca di affrontare saranno anche importanti nel determinare il metodo utilizzato. Ad esempio, una action cam potrebbe essere preferibile in ambienti relativamente omogenei (ad esempio, praterie di fanerogame, habitat di coralli morti / macerie) o dove solo le metriche generali della comunità (come abbondanza, diversità) vengono valutate su grandi scale spaziali. Tuttavia, una fotocamera DSLR potrebbe essere utilizzata nei casi in cui è interessante tracciare cambiamenti su scala fine in singoli organismi o substrati.
Poiché si tratta di un metodo di campo, i risultati del modello dipenderanno da vari fattori ambientali come l’illuminazione, la chiarezza dell’acqua, le condizioni superficiali, la quantità di sovratensione e il movimento di pesci o strutture bentoniche non stazionarie (ad esempio, erba marina). Sebbene non ci siano soglie assolute di quando è appropriato utilizzare questo metodo, le giornate leggermente nuvolose con elevata chiarezza dell’acqua, condizioni superficiali calme e poca sovratensione producono in genere i modelli migliori. Inoltre, esiste un limite alla profondità minima richiesta per questi metodi. Questi metodi non funzionano bene in condizioni in cui c’è meno di 0,5 m di acqua a causa della bassa sovrapposizione tra le foto e meno elementi distintivi per foto. Tuttavia, questo evidenzia un altro vantaggio della action camera, cioè sono più piccoli e quindi sono più facili da usare a profondità inferiori. Inoltre, una bobina di diametro inferiore e una frequenza fotogrammi più elevata (o un obiettivo più grandangolare) possono migliorare la sovrapposizione dell’immagine in condizioni molto superficiali9.
Molti altri tipi di dati possono essere integrati con questo approccio. Ad esempio, gli ortomosaici sono stati utilizzati per mostrare la densità spaziale dei dati molecolari (ad esempio, geni e metaboliti) sui coralli 24 e sugli esseri umani 25 utilizzando il software open source ‘ili’26. La stessa piattaforma potrebbe anche essere utilizzata per mappare le densità spaziali di animali, microrganismi, virus e / o sostanze chimiche nell’ambiente. Altri esempi hanno usato SfM per annotare spazialmente specie bentoniche su ortomosaici utilizzando il software del sistema informativo geografico10. Inoltre, i modelli 3D generati da SfM possono essere utilizzati per stimare le caratteristiche dell’habitat come la rugosità e la dimensione frattale. In effetti, i metodi qui delineati sono stati recentemente utilizzati per derivare una nuova teoria geometrica per le superfici dell’habitat10. Infine, gli ortomosaici vengono utilizzati come superfici di input per modelli computazionali spazialmente espliciti, consentendo di sovrapporre simulazioni dinamiche sulla superficie 3D del modello. Essere in grado di generare facilmente immagini di grandi dimensioni e rappresentazioni 3D di habitat bentonici ha permesso agli scienziati marini di affrontare domande finora inimmaginabili3.
Nel complesso, ecco un protocollo dettagliato per condurre la fotogrammetria subacquea SfM con fotocamere DSLR o action cam più economiche. Questi metodi possono essere utilizzati dagli scienziati per una vasta gamma di scopi, dall’estrazione di dati sugli ecosistemi bentonici allo sviluppo di superfici di input 3D per simulazioni in silico . Tuttavia, questi protocolli possono essere utilizzati anche da non scienziati come parte degli sforzi di citizen science per raccogliere informazioni preziose sui modelli di biodiversità, complessità dell’habitat, struttura della comunità e altre metriche ecologiche.
Disclosures
The authors have nothing to disclose.
Acknowledgements
Ringraziamo la Paul G. Allen Family Foundation per aver finanziato questa ricerca e siamo grati a Ruth Gates per l’ispirazione di utilizzare la tecnologia per aiutare a conservare le barriere coralline. Ringraziamo anche NOAA e altri collaboratori per la discussione ponderata su questi metodi. Infine, ringraziamo Catie Foley e Patrick Nichols per aver fornito il drone e il video subacqueo di questi metodi.
Riconosciamo la National Fish and Wildlife Foundation come partner finanziatore in questo lavoro.
Materials
| Action camera (GoPro Hero7 Black) | GoPro | Could be any waterproof action camera | |
| Adobe Lightroom | Adobe | Color correction | |
| Calibration tiles ( flat PVC board cut to size for Agisoft targets. Attach a dive weight underneath if expecting waves) | Any negatively buoyant object of known size and color. We recommend using the scale marker templates available from Agisoft Metashape software (v.1.6.0). | ||
| DSLR camera (Canon EOS Rebel SL3 ) | Canon | 3453C002AA | Could be any DSLR camera in a underwater housing |
| Line (plastic clothes line filament) | Any negatively buoyant line that is strong enough to withstand field use | ||
| Micro SDXC memory card (for GoPro) | |||
| Oceanic Veo 2.0 | Oceanic | Digital depth gauge | |
| SDXC memory card (for DSLR) | Any SDXC memory card should work, so long as there is enough space to hold all the pictures necessary to build the model | ||
| Spool (2 inch-long section of 8 inch diameter PVC pipe which was attached to a 3 feet section of 1 inch PVC pipe to form the stem | Any negatively buoyant, round object of the desired diameter | ||
| Underwater camera housing for DSLR (Ikelite 200DLM/C Underwater TTL Housing) | Ikelite | 6970.09 | Should be the specific water housing for the DSLR make and model |
| Windows 10 desktop computer with an Intel i9-9900K 8-core CPU, two Nvidia GeForceRTX 2070 SUPER GPUs, and 128 GB of RAM. | Processing |
References
- Levy, J., Hunter, C., Lukacazyk, T., Franklin, E. C. Assessing the spatial distribution of coral bleaching using small unmanned aerial systems. Coral Reefs. 37 (2), 373-387 (2018).
- Muller-Karger, F. E., et al. Satellite sensor requirements for monitoring essential biodiversity variables of coastal ecosystems. Ecological Applications. 28 (3), 749-760 (2018).
- Dornelas, M., et al. Towards a macroscope: Leveraging technology to transform the breadth, scale and resolution of macroecological data. Global Ecology and Biogeography. 28, 1937-1948 (2019).
- Burns, J. H. R., Delparte, D., Gates, R. D., Takabayashi, M. Integrating structure-from-motion photogrammetry with geospatial software as a novel technique for quantifying 3D ecological characteristics of coral reefs. PeerJ. 2015 (3), 1077 (2015).
- House, J. E., et al. Moving to 3D: Relationships between coral planar area, surface area and volume. PeerJ. 2018 (6), 4280 (2018).
- Carlot, J., et al. Community composition predicts photogrammetry-based structural complexity on coral reefs. Coral Reefs. , 1-9 (2020).
- Young, G. C., Dey, S., Rogers, A. D., Exton, D. Cost and time-effective method for multi-scale measures of rugosity, fractal dimension, and vector dispersion from coral reef 3D models. PloS ONE. 12 (4), 0175341 (2017).
- Wilson, S. K., Robinson, J. P. W., Chong-Seng, K., Robinson, J., Graham, N. A. J. Boom and bust of keystone structure on coral reefs. Coral Reefs. 38 (4), 625-635 (2019).
- Pizarro, O., Friedman, A., Bryson, M., Williams, S. B., Madin, J. A simple, fast, and repeatable survey method for underwater visual 3D benthic mapping and monitoring. Ecology and Evolution. 7 (6), 1770-1782 (2017).
- Torres-Pulliza, D., et al. A geometric basis for surface habitat complexity and biodiversity. Nature Ecology & Evolution. 4, 1495-1501 (2020).
- Bayley, D., Mogg, A., Koldewey, H., Purvis, A. Capturing complexity: field-testing the use of ‘structure from motion’derived virtual models to replicate standard measures of reef physical structure. PeerJ. 2019 (7), 6540 (2019).
- Leon, J. X., Roelfsema, C. M., Saunders, M. I., Phinn, S. R. Measuring coral reef terrain roughness using ‘Structure-from-Motion’ close-range photogrammetry. Geomorphology. 242, 21-28 (2015).
- Burns, J. H. R., et al. Assessing the impact of acute disturbances on the structure and composition of a coral community using innovative 3D reconstruction techniques. Methods in Oceanography. 15-16, 49-59 (2016).
- Edwards, C. B., et al. Large-area imaging reveals biologically driven non-random spatial patterns of corals at a remote reef. Coral Reefs. 36, 1291-1305 (2017).
- Piazza, P., et al. Underwater photogrammetry in Antarctica: long-term observations in benthic ecosystems and legacy data rescue. Polar Biology. 42 (6), 1061-1079 (2019).
- Bonney, R., et al. Citizen science: A developing tool for expanding science knowledge and scientific literacy. BioScience. 59 (11), 977-984 (2009).
- Dickinson, J. L., Zuckerberg, B., Bonter, D. N. Citizen science as an ecological research tool: Challenges and benefits. Annual Review of Ecology, Evolution, and Systematics. 41 (1), 149-172 (2010).
- Storlazzi, C. D., Dartnell, P., Hatcher, G., Gibbs, A. E. End of the chain? Rugosity and fine-scale bathymetry from existing underwater digital imagery using structure-from-motion (SfM) technology. Coral Reefs. 35 (3), 889-894 (2016).
- Ventura, D., Lasinio, G. J., Belluscio, A., Ardizzone, G. A low-cost drone based application for identifying and mapping of coastal fish nursery grounds Feeding ecology View project Habitat use of juvenile Diplodus species View project. Estuarine Coastal and Shelf Science. 171, 85-98 (2016).
- Ventura, D., Bonifazi, A., Gravina, M. F., Belluscio, A., Ardizzone, G. Mapping and classification of ecologically sensitive marine habitats using unmanned aerial vehicle (UAV) imagery and object-based image analysis (OBIA). Remote Sensing. 10 (9), 1331 (2018).
- George, E. E., et al. Relevance of coral geometry in the outcomes of the coral-algal benthic war. bioRxiv. , (2018).
- Anelli, M., et al. Towards new applications of underwater photogrammetry for investigating coral reef morphology and habitat complexity in the Myeik Archipelago, Myanmar. Geocarto International. 34 (5), 459-472 (2017).
- Suka, R., et al. Processing photomosaic imagery of coral reefs using structure-from-motion standard operating procedures. U.S. Dept. of Commerce, NOAA Technical Memorandum NOAA-TM-NMFS-PIFSC-93. , (2019).
- Galtier d’Auriac, I., et al. Before platelets: the production of platelet-activating factor during growth and stress in a basal marine organism. Proceedings of the Royal Society B: Biological Sciences. 285 (1884), 20181307 (2018).
- Bouslimani, A., et al. Molecular cartography of the human skin surface in 3D. Proceedings of the National Academy of Sciences of the United States of America. 112 (17), 2120-2129 (2015).
- Protsyuk, I., et al. 3D molecular cartography using LC-MS facilitated by Optimus and ‘ili software. Nature Protocols. 13 (1), 134-154 (2018).
