Analisi della morfologia mitocondriale attraverso l'apprendimento supervisionato di simulazione
Summary
Questo articolo spiega come utilizzare l’apprendimento automatico supervisionato dalla simulazione per analizzare la morfologia dei mitocondri nelle immagini al microscopio a fluorescenza di cellule fisse.
Abstract
L’analisi quantitativa di organelli subcellulari come i mitocondri nelle immagini di microscopia a fluorescenza cellulare è un compito impegnativo a causa delle sfide intrinseche nella segmentazione di queste strutture piccole e morfologicamente diverse. In questo articolo, dimostriamo l’uso di una pipeline di segmentazione e analisi assistita dall’apprendimento automatico per la quantificazione della morfologia mitocondriale nelle immagini di microscopia a fluorescenza di cellule fisse. Lo strumento di segmentazione basato sul deep learning viene addestrato su immagini simulate ed elimina la necessità di annotazioni di verità di base per l’apprendimento approfondito supervisionato. Dimostriamo l’utilità di questo strumento su immagini al microscopio a fluorescenza di cardiomioblasti fissi con un’espressione stabile di marcatori mitocondriali fluorescenti e impieghiamo specifiche condizioni di coltura cellulare per indurre cambiamenti nella morfologia mitocondriale.
Introduction
In questo articolo, dimostriamo l’utilità di uno strumento di apprendimento automatico basato sulla fisica per la segmentazione subcellulare1 nelle immagini di microscopia a fluorescenza di cardiomioblasti fissi che esprimono marcatori mitocondriali fluorescenti.
I mitocondri sono i principali organelli che producono energia nelle cellule di mammifero. In particolare, i mitocondri sono organelli altamente dinamici e si trovano spesso in reti che cambiano costantemente in lunghezza e ramificazione. La forma dei mitocondri influisce sulla loro funzione e le cellule possono cambiare rapidamente la loro morfologia mitocondriale per adattarsi a un cambiamento nell’ambiente2. Per comprendere questo fenomeno, la classificazione morfologica dei mitocondri come punti, bastoncelli o reti è altamente informativa3.
La segmentazione dei mitocondri è cruciale per l’analisi della morfologia mitocondriale nelle cellule. Gli attuali metodi per segmentare e analizzare le immagini al microscopio a fluorescenza dei mitocondri si basano sulla segmentazione manuale o su approcci convenzionali di elaborazione delle immagini. Gli approcci basati sulla soglia come Otsu4 sono meno accurati a causa degli elevati livelli di rumore nelle immagini al microscopio. Tipicamente, le immagini per l’analisi morfologica dei mitocondri presentano un gran numero di mitocondri, rendendo noiosa la segmentazione manuale. Gli approcci matematici come MorphoLibJ5 e gli approcci di apprendimento automatico semi-supervisionati come Weka6 sono molto esigenti e richiedono conoscenze specialistiche. Una revisione delle tecniche di analisi delle immagini per i mitocondri7 ha dimostrato che le tecniche basate sull’apprendimento profondo possono essere utili per il compito. In effetti, la segmentazione delle immagini nelle immagini della vita quotidiana per applicazioni come la guida autonoma è stata rivoluzionata con l’uso di modelli basati sul deep learning.
Il deep learning è un sottoinsieme dell’apprendimento automatico che fornisce algoritmi che apprendono da grandi quantità di dati. Gli algoritmi di deep learning supervisionati apprendono le relazioni da grandi insiemi di immagini annotate con le loro etichette di verità fondamentale (GT). Le sfide nell’utilizzo dell’apprendimento profondo supervisionato per segmentare i mitocondri nelle immagini al microscopio a fluorescenza sono duplici. In primo luogo, l’apprendimento approfondito supervisionato richiede un ampio set di dati di immagini di addestramento e, nel caso della microscopia a fluorescenza, fornire questo grande set di dati sarebbe un compito esteso rispetto a quando si utilizzano immagini tradizionali basate su telecamere più facilmente disponibili. In secondo luogo, le immagini di microscopia a fluorescenza richiedono annotazioni GT degli oggetti di interesse nelle immagini di addestramento, che è un compito noioso che richiede conoscenze specialistiche. Questo compito può facilmente richiedere ore o giorni del tempo dell’esperto per una singola immagine di cellule con strutture subcellulari etichettate in modo fluorescente. Inoltre, le variazioni tra gli annotatori rappresentano un problema. Per eliminare la necessità di annotazioni manuali e per poter sfruttare le prestazioni superiori delle tecniche di deep learning, è stato utilizzato un modello di segmentazione basato sul deep learning che è stato addestrato su immagini simulate. I simulatori basati sulla fisica forniscono un modo per imitare e controllare il processo di formazione delle immagini al microscopio, consentendo la creazione di immagini di forme note. Utilizzando un simulatore basato sulla fisica, è stato creato un ampio set di dati di immagini di microscopia a fluorescenza simulata dei mitocondri.
La simulazione inizia con la generazione della geometria utilizzando curve parametriche per la generazione di forme. Gli emettitori sono posizionati casualmente sulla superficie della forma in modo uniformemente distribuito in modo tale che la densità corrisponda ai valori sperimentali. Una funzione di diffusione del punto 3D (PSF) del microscopio viene calcolata utilizzando un’approssimazione computazionalmente efficiente8 del modello Gibson-Lanni9. Per abbinare fedelmente le immagini simulate con le immagini sperimentali, sia la corrente oscura che il rumore di ripresa vengono emulati per ottenere il realismo fotografico. Il GT fisico viene generato sotto forma di mappa binaria. Il codice per la generazione del dataset e il training del modello di simulazione è disponibile10 e il passaggio per la creazione di questo dataset simulato è descritto nella Figura 1.
Mostriamo l’utilità della segmentazione basata sul deep learning addestrata interamente su un set di dati simulato analizzando immagini al microscopio confocale di cardiomioblasti fissi. Questi cardiomioblasti esprimevano un marcatore fluorescente nella membrana esterna mitocondriale, consentendo la visualizzazione dei mitocondri nelle immagini di microscopia a fluorescenza. Prima di condurre l’esperimento fornito come esempio qui, le cellule sono state private del glucosio e adattate al galattosio per 7 giorni in coltura. La sostituzione del glucosio nei mezzi di crescita con galattosio costringe le cellule in coltura a diventare più ossidative e, quindi, dipendenti dai loro mitocondri per la produzione di energia11,12. Inoltre, questo rende le cellule più sensibili al danno mitocondriale. I cambiamenti della morfologia mitocondriale possono essere indotti sperimentalmente aggiungendo un agente di disaccoppiamento mitocondriale come il cianuro di carbonile m-clorofenil idrazone (CCCP) al terreno di coltura cellulare13. La CCCP porta ad una perdita del potenziale di membrana mitocondriale (ΔΨm) e, quindi, provoca cambiamenti nei mitocondri da una morfologia più tubulare (simile a un bastoncello) a una più globulare (a punti)14. Inoltre, i mitocondri tendono a gonfiarsi durante il trattamento CCCP15. Mostriamo la distribuzione morfologica dei cambiamenti dei mitocondri quando i cardiomioblasti adattati al galattosio sono stati trattati con il disaccoppiatore mitocondriale CCCP. Le segmentazioni di deep learning dei mitocondri ci hanno permesso di classificarli come punti, bastoncelli o reti. Abbiamo quindi derivato metriche quantitative per valutare le lunghezze dei rami e l’abbondanza dei diversi fenotipi mitocondriali. Le fasi dell’analisi sono descritte nella Figura 2 e i dettagli della coltura cellulare, dell’imaging, della creazione di set di dati per la segmentazione basata sull’apprendimento profondo, nonché l’analisi quantitativa dei mitocondri, sono riportati di seguito.
Protocol
Representative Results
Discussion
Discutiamo le precauzioni relative ai passaggi critici del protocollo nei paragrafi “generazione della geometria” e “parametri del simulatore”. Il paragrafo intitolato “transfer learning” discute le modifiche per una maggiore produttività quando ci si adatta a più microscopi. I paragrafi su “analisi delle particelle” e “generazione di altre strutture subcellulari” si riferiscono alle future applicazioni di questo metodo. Il paragrafo sulla “differenza dalla verità biologica” discute le diverse ragioni per cui le simulazioni potrebbero differire dai dati reali e se queste ragioni influenzano la nostra applicazione. Infine, discutiamo uno scenario impegnativo per il nostro metodo nel paragrafo “strutture densamente imballate”.
Generazione della geometria
Per generare la geometria 3D dei mitocondri, una semplice struttura 2D creata da curve b-spline come scheletri funziona bene per la creazione del set di dati sintetico. Queste forme sintetiche emulano da vicino le forme dei mitocondri osservate nelle colture cellulari 2D. Tuttavia, nel caso di tessuti 3D come il tessuto cardiaco, la forma e la disposizione dei mitocondri sono molto diverse. In tali casi, le prestazioni del modello di segmentazione possono migliorare con l’aggiunta di direzionalità nelle immagini simulate.
Parametri del simulatore
È necessario prestare attenzione quando si impostano i parametri del simulatore per assicurarsi che corrispondano a quelli dei dati su cui eseguire l’inferenza, poiché in caso contrario si possono ridurre le prestazioni sulla segmentazione. Uno di questi parametri è l’intervallo del rapporto segnale-rumore (SNR). L’intervallo dell’SNR dei dati da testare deve corrispondere ai valori del set di dati simulato. Inoltre, le FPF utilizzate devono corrispondere a quelle dei dati di prova di destinazione. Ad esempio, le immagini addestrate al modello da una PSF confocale non dovrebbero essere utilizzate per testare le immagini di un microscopio epi-fluorescente. Un altro parametro a cui prestare attenzione è l’uso di ingrandimenti aggiuntivi nei dati di test. Se è stato utilizzato un ingrandimento aggiuntivo nei dati di prova, anche il simulatore deve essere impostato in modo appropriato.
Trasferire l’apprendimento
Il transfer learning è il fenomeno di sfruttare un modello appreso addestrato su un’attività per l’uso in un’altra attività. Questo fenomeno è applicabile anche al nostro problema in relazione a diversi tipi di dati al microscopio. I pesi del modello di segmentazione (fornito con il codice sorgente) che viene addestrato su un tipo di dati di microscopia possono essere utilizzati per inizializzare un modello di segmentazione da utilizzare su un altro tipo di dati del microscopio ottico. Questo ci consente di allenarci su un sottoinsieme significativamente più piccolo del set di dati di addestramento (3.000 immagini rispetto a 10.000), riducendo così i costi computazionali della simulazione.
Analisi delle particelle
L’analisi delle particelle può essere eseguita anche sulle maschere segmentate. Questo può fornire informazioni sull’area e la curvatura, ecc., dei singoli mitocondri. Queste informazioni possono anche servire come metriche per il confronto quantitativo dei mitocondri (non utilizzati per questo esperimento). Ad esempio, al momento, definiamo la morfologia del punto utilizzando una soglia basata sulla lunghezza dei mitocondri. Può essere utile, in alcuni casi, incorporare l’ellitticità per separare meglio i piccoli mitocondri simili a bastoncelli dai mitocondri puncta o puntiformi. In alternativa, se determinate condizioni biologiche causano il raggomitolamento dei mitocondri, la quantificazione della curvatura può essere interessante per analizzare la popolazione mitocondriale.
Generazione di altre strutture subcellulari
La segmentazione fisica delle strutture subcellulari è stata dimostrata per i mitocondri e le vescicole1. Sebbene le vescicole mostrino forme diverse, le loro dimensioni sono più piccole e appaiono come semplici sfere se osservate attraverso un microscopio a fluorescenza. Quindi, la geometria delle vescicole viene simulata utilizzando strutture sferiche di un intervallo di diametri appropriato. Ciò implica un cambiamento nella funzione genera la geometria (cilindri nel caso dei mitocondri e sfere nel caso delle vescicole) delle strutture e dei rispettivi parametri (punto 5.4 nella sezione protocollo). Geometricamente, anche il reticolo endoplasmatico e i microtubuli sono stati simulati come strutture tubolari17. La modellazione del reticolo endoplasmatico con un diametro di 150 nm e microtubuli con un diametro esterno medio di 25 nm e un tubo cavo interno di 15 nm di diametro fornisce approssimazioni delle forme di queste strutture. Un altro parametro che varierà per ciascuna di queste strutture subcellulari è la densità del fluoroforo. Questo viene calcolato in base alla distribuzione della biomolecola a cui i fluorofori si legano e alla probabilità di legame.
Differenza dalla verità biologica di base
I dati simulati utilizzati per l’addestramento supervisionato dalla simulazione del modello di deep learning differiscono dai dati reali in molti modi. (i) L’assenza di etichettatura non specifica nei dati simulati differisce dai dati reali, in quanto vi sono spesso fluorofori fluttuanti nei dati reali. Ciò causa un valore medio di sfondo più elevato nell’immagine reale. Questa differenza viene mitigata abbinando l’SNR e impostando il valore di sfondo in modo che corrisponda ai valori reali osservati. (ii) Il movimento delle strutture subcellulari e la fotocinetica sono due fonti di dinamica nel sistema. Le strutture in movimento nelle cellule vive (che si muovono nell’intervallo di pochi millisecondi) causano la sfocatura del movimento. Il tempo di esposizione viene ridotto durante l’acquisizione dei dati reali per evitare l’effetto di sfocatura. D’altra parte, non simuliamo il timelapse e assumiamo strutture immobili; Questa ipotesi è valida quando il tempo di esposizione nei dati reali è piccolo. Tuttavia, questa ipotesi può produrre un errore nell’output se il tempo di esposizione dei dati reali è abbastanza grande da introdurre la sfocatura del movimento. La fotocinetica, d’altra parte, è nell’ordine dei nanosecondi ai microsecondi e può essere omessa nella simulazione, poiché i tempi di esposizione usuali degli esperimenti sono abbastanza lunghi (nell’ordine dei millisecondi) per calcolare la media degli effetti della fotocinetica. (iii) Il rumore nelle immagini del microscopio ha fonti diverse, e queste sorgenti hanno diverse funzioni di densità di probabilità. Invece di modellare queste singole fonti di rumore, lo approssimiamo come un rumore gaussiano su uno sfondo costante. Questa differenza non altera significativamente la distribuzione dei dati per le condizioni di basso rapporto segnale-fondo (nell’intervallo 2-4) e quando si tratta della macro densità dei fluorofori1. (iv) Gli artefatti nell’imaging possono derivare da aberrazioni, deriva e sfocature sistematiche. Supponiamo che il microscopio sia ben allineato e che le regioni scelte per l’analisi nei dati reali siano prive di questi artefatti. C’è anche la possibilità di modellare alcuni di questi artefatti nel PSF18,19,20.
Strutture densamente imballate
La difficoltà di non essere in grado di differenziare le barre sovrapposte dalle reti è un problema persistente nella segmentazione dei dati di microscopia 2D. Uno scenario estremamente impegnativo è presentato nella Figura 5, in cui i mitocondri sono densamente impacchettati, il che porta a risultati non ottimali nel modello di segmentazione e nella seguente analisi. Nonostante questa sfida, l’uso di operatori morfologici in tali situazioni per snellire la scheletrizzazione può aiutare a rompere queste reti eccessivamente connesse, consentendo al contempo di rilevare cambiamenti significativi in tutte le categorie di morfologia mitocondriale. Inoltre, l’uso di un microscopio confocale piuttosto che a campo largo per l’imaging è un metodo per mitigare parzialmente questo problema eliminando la luce fuori fuoco. Inoltre, in futuro, sarebbe utile eseguire la segmentazione 3D per differenziare i mitocondri che si intersecano (cioè formano fisicamente una rete) dai mitocondri simili a bastoncelli le cui proiezioni in un unico piano si sovrappongono l’una con l’altra.
La segmentazione del deep learning è uno strumento promettente che offre di espandere le capacità di analisi degli utenti di microscopia, aprendo così la possibilità di analisi automatizzata di dati complessi e grandi set di dati quantitativi, che in precedenza sarebbero stati ingestibili.
Disclosures
The authors have nothing to disclose.
Acknowledgements
Gli autori riconoscono la discussione con Arif Ahmed Sekh. Zambarlal Bhujabal è riconosciuto per aver aiutato a costruire le cellule stabili H9c2. Riconosciamo i seguenti finanziamenti: sovvenzione iniziale del CER n. 804233 (a K.A.), sovvenzione per il progetto di ricerca per il rinnovamento scientifico n. 325741 (a D.K.P.), sovvenzione dell’Autorità sanitaria regionale della Norvegia settentrionale n. HNF1449-19 (Å.B.B.) e progetto di finanziamento tematico di UiT VirtualStain con Cristin Project ID 2061348 (D.K.P., Å.B.B., K.A. e A.H.).
Materials
| 12-well plate | FALCON | 353043 | |
| Aqueous Glutaraldehyde EM Grade 25% | Electron Microscopy Sciences | 16200 | |
| Axio Vert.A1 | Zeiss | Brightfield microscope | |
| CCCP | Sigma-Aldrich | C2759 | |
| Computer | n/a | n/a | Must be running Linux/Windows Operating System having an NVIDIA GPU with at least 4GB of memory |
| Coverslips | VWR | 631-0150 | |
| DAPI (stain) | Sigma-Aldrich | D9542 | |
| DMEM | gibco | 11966-025 | |
| Fetal Bovine Serum | Sigma-Aldrich | F7524 | |
| Glass Slides (frosted edge) | epredia | AA00000112E01MNZ10 | |
| H9c2 mCherry-EGFP-OMP25 | In-house stable cell line derived from purchased cell line | ||
| Incubator | Thermo Fisher Scientific | 51033557 | |
| LSM 800 | Zeiss | Confocal Microscope | |
| Mounting Media (Glass) | Thermo Fisher Scientific | P36980 | |
| Paraformaldehyde Solution, 4% in PBS | Thermo Fisher Scientific | J19943-K2 | |
| Plan-Apochromat 63x oil (M27) objective with an NA of 1.4 | Zeiss | 420782-9900-000 | |
| Sterile laminar flow hood | Labogene | SCANLAF MARS | |
| Trypsin | Sigma-Aldrich | T4049 | |
| Vacusafe aspiration system | VACUUBRAND | 20727400 | |
| ZEN 2.6 | Zeiss |
References
- Sekh, A. A., et al. Physics-based machine learning for subcellular segmentation in living cells. Nature Machine Intelligence. 3, 1071-1080 (2021).
- Pernas, L., Scorrano, L. Mito-morphosis: Mitochondrial fusion, fission, and cristae remodeling as key mediators of cellular function. Annual Review of Physiology. 78, 505-531 (2016).
- Li, Y., et al. Imaging of macrophage mitochondria dynamics in vivo reveals cellular activation phenotype for diagnosis. Theranostics. 10 (7), 2897-2917 (2020).
- Xu, X., Xu, S., Jin, L., Song, E. Characteristic analysis of Otsu threshold and its applications. Pattern Recognition Letters. 32 (7), 956-961 (2011).
- MorphoLibJ: MorphoLibJ v1.2.0. Zenodo Available from: https://zenodo.org/record/50694#.Y8qfo3bP23A (2016)
- Trainable_Segmentation: Release v3.1.2. Zenodo Available from: https://zenodo.org/record/59290#.Y8qf13bP23A (2016)
- Chu, C. H., Tseng, W. W., Hsu, C. M., Wei, A. C. Image analysis of the mitochondrial network morphology with applications in cancer research. Frontiers in Physics. 10, 289 (2022).
- Xue, F., Li, J., Blu, T. Fast and accurate three-dimensional point spread function computation for fluorescence microscopy. Journal of the Optical Society of America A. 34 (6), 1029-1034 (2017).
- Lanni, F., Gibson, S. F. Diffraction by a circular aperture as a model for three-dimensional optical microscopy. Journal of the Optical Society of America A. 6 (9), 1357-1367 (1989).
- Sekh, A. A., et al. Physics based machine learning for sub-cellular segmentation in living cells. Nature Machine Intelligence. 3, 1071-1080 (2021).
- Liu, Y., Song, X. D., Liu, W., Zhang, T. Y., Zuo, J. Glucose deprivation induces mitochondrial dysfunction and oxidative stress in PC12 cell line. Journal of Cellular and Molecular Medicine. 7 (1), 49-56 (2003).
- Dott, W., Mistry, P., Wright, J., Cain, K., Herbert, K. E. Modulation of mitochondrial bioenergetics in a skeletal muscle cell line model of mitochondrial toxicity. Redox Biology. 2, 224-233 (2014).
- Ishihara, N., Jofuku, A., Eura, Y., Mihara, K. Regulation of mitochondrial morphology by membrane potential, and DRP1-dependent division and FZO1-dependent fusion reaction in mammalian cells. Biochemical and Biophysical Research Communications. 301 (4), 891-898 (2003).
- Miyazono, Y., et al. Uncoupled mitochondria quickly shorten along their long axis to form indented spheroids, instead of rings, in a fission-independent manner. Scientific Reports. 8, 350 (2018).
- Ganote, C. E., Armstrong, S. C. Effects of CCCP-induced mitochondrial uncoupling and cyclosporin A on cell volume, cell injury and preconditioning protection of isolated rabbit cardiomyocytes. Journal of Molecular and Cellular Cardiology. 35 (7), 749-759 (2003).
- Nunez-Iglesias, J., Blanch, A. J., Looker, O., Dixon, M. W., Tilley, L. A new Python library to analyse skeleton images confirms malaria parasite remodelling of the red blood cell membrane skeleton. PeerJ. 2018, 4312 (2018).
- Sage, D., et al. Super-resolution fight club: Assessment of 2D and 3D single-molecule localization microscopy software. Nature Methods. 16, 387-395 (2019).
- Yin, Z., Kanade, T., Chen, M. Understanding the phase contrast optics to restore artifact-free microscopy images for segmentation. Medical Image Analysis. 16 (5), 1047-1062 (2012).
- Malm, P., Brun, A., Bengtsson, E. Simulation of bright-field microscopy images depicting pap-smear specimen. Cytometry. Part A. 87 (3), 212-226 (2015).
- Bifano, T., Ünlü, S., Lu, Y., Goldberg, B. Aberration compensation in aplanatic solid immersion lens microscopy. Optical Express. 21 (23), 28189-28197 (2013).
