Dieser Artikel erklärt, wie man simulationsüberwachtes maschinelles Lernen zur Analyse der Mitochondrienmorphologie in fluoreszenzmikroskopischen Bildern fixierter Zellen einsetzt.
Die quantitative Analyse subzellulärer Organellen wie Mitochondrien in zellfluoreszenzmikroskopischen Bildern ist aufgrund der inhärenten Herausforderungen bei der Segmentierung dieser kleinen und morphologisch vielfältigen Strukturen eine anspruchsvolle Aufgabe. In diesem Artikel demonstrieren wir die Verwendung einer maschinellen, lerngestützten Segmentierungs- und Analysepipeline zur Quantifizierung der mitochondrialen Morphologie in fluoreszenzmikroskopischen Bildern fixierter Zellen. Das Deep-Learning-basierte Segmentierungstool wird auf simulierten Bildern trainiert und macht Ground-Truth-Annotationen für überwachtes Deep Learning überflüssig. Wir demonstrieren den Nutzen dieses Werkzeugs auf fluoreszenzmikroskopischen Bildern von fixierten Kardiomyoblasten mit einer stabilen Expression fluoreszierender Mitochondrienmarker und verwenden spezifische Zellkulturbedingungen, um Veränderungen in der mitochondrialen Morphologie zu induzieren.
In diesem Artikel demonstrieren wir den Nutzen eines physikbasierten maschinellen Lernwerkzeugs für die subzelluläre Segmentierung1 in fluoreszenzmikroskopischen Bildern von fixierten Kardiomyoblasten, die fluoreszierende Mitochondrienmarker exprimieren.
Mitochondrien sind die wichtigsten energieproduzierenden Organellen in Säugetierzellen. Insbesondere Mitochondrien sind hochdynamische Organellen und befinden sich oft in Netzwerken, die sich ständig in Länge und Verzweigung ändern. Die Form der Mitochondrien beeinflusst ihre Funktion, und Zellen können ihre mitochondriale Morphologie schnell ändern, um sich an eine Veränderung in der Umgebung anzupassen2. Um dieses Phänomen zu verstehen, ist die morphologische Klassifizierung von Mitochondrien als Punkte, Stäbchen oder Netzwerke sehr informativ3.
Die Segmentierung von Mitochondrien ist entscheidend für die Analyse der mitochondrialen Morphologie in Zellen. Aktuelle Methoden zur Segmentierung und Analyse fluoreszenzmikroskopischer Bilder von Mitochondrien beruhen auf manueller Segmentierung oder konventionellen Bildverarbeitungsansätzen. Schwellenwertbasierte Ansätze wie Otsu4 sind aufgrund des hohen Rauschpegels in Mikroskopiebildern weniger genau. Typischerweise zeigen Bilder für die morphologische Analyse von Mitochondrien eine große Anzahl von Mitochondrien, was die manuelle Segmentierung mühsam macht. Mathematische Ansätze wie MorphoLibJ5 und semi-überwachte maschinelle Lernansätze wie Weka6 sind sehr anspruchsvoll und erfordern Expertenwissen. Eine Überprüfung der Bildanalysetechniken für Mitochondrien7 zeigte, dass Deep-Learning-basierte Techniken für die Aufgabe nützlich sein können. Tatsächlich wurde die Bildsegmentierung in Alltagsbildern für Anwendungen wie das autonome Fahren durch den Einsatz von Deep-Learning-basierten Modellen revolutioniert.
Deep Learning ist eine Teilmenge des maschinellen Lernens, die Algorithmen bereitstellt, die aus großen Datenmengen lernen. Überwachte Deep-Learning-Algorithmen lernen Beziehungen aus großen Mengen von Bildern, die mit ihren Ground Truth (GT)-Etiketten versehen sind. Die Herausforderungen bei der Verwendung von überwachtem Deep Learning zur Segmentierung von Mitochondrien in fluoreszenzmikroskopischen Bildern sind zweifach. Erstens erfordert überwachtes Deep Learning einen großen Datensatz von Trainingsbildern, und im Falle der Fluoreszenzmikroskopie wäre die Bereitstellung dieses großen Datensatzes eine umfangreiche Aufgabe im Vergleich zur Verwendung leichter verfügbarer herkömmlicher kamerabasierter Bilder. Zweitens erfordern fluoreszenzmikroskopische Bilder GT-Annotationen der interessierenden Objekte in den Trainingsbildern, was eine mühsame Aufgabe ist, die Expertenwissen erfordert. Diese Aufgabe kann leicht Stunden oder Tage der Zeit des Experten für ein einzelnes Bild von Zellen mit fluoreszierend markierten subzellulären Strukturen in Anspruch nehmen. Darüber hinaus stellen Unterschiede zwischen den Kommentatoren ein Problem dar. Um manuelle Annotationen überflüssig zu machen und die überlegene Leistung von Deep-Learning-Techniken nutzen zu können, wurde hier ein Deep-Learning-basiertes Segmentierungsmodell verwendet, das auf simulierten Bildern trainiert wurde. Physikbasierte Simulatoren bieten eine Möglichkeit, den Prozess der Bildentstehung in einem Mikroskop nachzuahmen und zu steuern, wodurch Bilder bekannter Formen erstellt werden können. Unter Verwendung eines physikbasierten Simulators wurde zu diesem Zweck ein großer Datensatz simulierter fluoreszenzmikroskopischer Bilder von Mitochondrien erstellt.
Die Simulation beginnt mit der Geometriegenerierung mittels parametrischer Kurven zur Formgenerierung. Emitter werden zufällig gleichmäßig verteilt auf der Oberfläche der Form platziert, so dass die Dichte den experimentellen Werten entspricht. Eine 3D-Punktspreizfunktion (PSF) des Mikroskops wird unter Verwendung einer rechnerisch effizienten Näherung8 des Gibson-Lanni-Modells9 berechnet. Um die simulierten Bilder eng mit experimentellen Bildern abzugleichen, werden sowohl der Dunkelstrom als auch das Aufnahmerauschen emuliert, um Fotorealismus zu erreichen. Der physische GT wird in Form einer binären Karte generiert. Der Code zum Generieren des Datasets und zum Trainieren des Simulationsmodells ist verfügbar10, und der Schritt zum Erstellen dieses simulierten Datasets ist in Abbildung 1 dargestellt.
Wir zeigen den Nutzen einer auf Deep Learning basierenden Segmentierung, die vollständig auf einem simulierten Datensatz trainiert wird, indem konfokale Mikroskopiebilder von fixierten Kardiomyoblasten analysiert werden. Diese Kardiomyoblasten exprimierten einen fluoreszierenden Marker in der mitochondrialen Außenmembran, der die Visualisierung der Mitochondrien in den fluoreszenzmikroskopischen Bildern ermöglichte. Vor der Durchführung des hier als Beispiel angeführten Experiments wurde den Zellen Glukose entzogen und 7 Tage lang in Kultur an Galaktose angepasst. Der Ersatz von Glukose in den Wachstumsmedien durch Galaktose zwingt die Zellen in Kultur, oxidativer zu werden und somit für die Energieproduktion von ihren Mitochondrien abhängig zu werden11,12. Darüber hinaus macht dies die Zellen empfindlicher für mitochondriale Schäden. Mitochondriale Morphologieänderungen können experimentell durch Zugabe eines mitochondrialen Entkopplungsmittels wie Carbonylcyanid m-Chlorphenylhydrazon (CCCP) zum Zellkulturmedium13 induziert werden. CCCP führt zu einem Verlust des mitochondrialen Membranpotentials (ΔΨm) und führt somit zu Veränderungen der Mitochondrien von einer eher röhrenförmigen (stäbchenartigen) zu einer kugelförmigeren (punktartigen) Morphologie14. Darüber hinaus neigen Mitochondrien dazu, während der CCCP-Behandlung anzuschwellen15. Wir zeigen die morphologische Verteilung der Mitochondrien, wenn die galaktoseadaptierten Kardiomyoblasten mit dem mitochondrialen Entkoppler CCCP behandelt wurden. Die Deep-Learning-Segmentierungen der Mitochondrien ermöglichten es uns, sie als Punkte, Stäbchen oder Netzwerke zu klassifizieren. Wir leiteten dann quantitative Metriken ab, um die Zweiglängen und die Häufigkeit der verschiedenen mitochondrialen Phänotypen zu bewerten. Die Schritte der Analyse sind in Abbildung 2 beschrieben, und die Details der Zellkultur, der Bildgebung, der Datensatzerstellung für die Deep-Learning-basierten Segmentierung sowie der quantitativen Analyse der Mitochondrien sind unten aufgeführt.
Wir diskutieren Vorsichtsmaßnahmen im Zusammenhang mit den kritischen Schritten im Protokoll in den Abschnitten “Geometriegenerierung” und “Simulatorparameter”. Der Abschnitt mit dem Titel “Transfer Learning” diskutiert Modifikationen für einen höheren Durchsatz bei der Anpassung an mehrere Mikroskope. Die Abschnitte “Partikelanalyse” und “Erzeugung anderer subzellulärer Strukturen” beziehen sich auf zukünftige Anwendungen dieser Methode. Der Abschnitt über den “Unterschied zur biologischen Wahrheit” diskutiert die verschiedenen Gründe, warum die Simulationen von realen Daten abweichen können und ob diese Gründe unsere Anwendung beeinflussen. Abschließend diskutieren wir im Abschnitt “dicht gepackte Strukturen” ein herausforderndes Szenario für unsere Methode.
Geometriegenerierung
Um die 3D-Geometrie von Mitochondrien zu generieren, eignet sich eine einfache 2D-Struktur, die aus b-Spline-Kurven als Skelette erstellt wird, gut für die Erstellung des synthetischen Datensatzes. Diese synthetischen Formen emulieren genau die Formen von Mitochondrien, die in 2D-Zellkulturen beobachtet wurden. Bei 3D-Gewebe wie Herzgewebe sind Form und Anordnung der Mitochondrien jedoch ganz anders. In solchen Fällen kann sich die Leistung des Segmentierungsmodells verbessern, wenn die Direktionalität in den simulierten Bildern hinzugefügt wird.
Simulator-Parameter
Beim Festlegen der Parameter des Simulators ist Vorsicht geboten, um sicherzustellen, dass sie mit denen der Daten übereinstimmen, auf denen die Inferenz ausgeführt werden soll, da dies nicht zu einer geringeren Segmentierungsleistung führen kann. Ein solcher Parameter ist der Signal-Rausch-Bereich (SNR). Der Bereich des SNR der zu testenden Daten sollte mit den Werten des simulierten Datensatzes übereinstimmen. Darüber hinaus sollte die verwendete PSF mit der der Zieltestdaten übereinstimmen. Beispielsweise sollten modelltrainierte Bilder aus einem konfokalen PSF nicht zum Testen von Bildern aus einem Epifluoreszenzmikroskop verwendet werden. Ein weiterer Parameter, auf den man achten sollte, ist die Verwendung einer zusätzlichen Vergrößerung in den Testdaten. Wenn in den Testdaten eine zusätzliche Vergrößerung verwendet wurde, sollte auch der Simulator entsprechend eingestellt werden.
Transferlernen
Transferlernen ist das Phänomen der Nutzung eines gelernten Modells, das auf einer Aufgabe trainiert wurde, für die Verwendung in einer anderen Aufgabe. Dieses Phänomen ist auch auf unser Problem in Bezug auf verschiedene Arten von Mikroskopdaten anwendbar. Die Gewichte des Segmentierungsmodells (mit dem Quellcode bereitgestellt), das für eine Art von Mikroskopiedaten trainiert wird, können verwendet werden, um ein Segmentierungsmodell zu initialisieren, das für eine andere Art von Lichtmikroskopdaten verwendet werden soll. Dies ermöglicht es uns, mit einer deutlich kleineren Teilmenge des Trainingsdatensatzes zu trainieren (3.000 Bilder im Vergleich zu 10.000), wodurch die Rechenkosten der Simulation reduziert werden.
Partikelanalyse
Die Partikelanalyse kann auch an den segmentierten Masken durchgeführt werden. Dies kann Aufschluss über die Fläche und Krümmung usw. der einzelnen Mitochondrien geben. Diese Informationen können auch als Metriken für den quantitativen Vergleich von Mitochondrien dienen (nicht für dieses Experiment verwendet). Zum Beispiel definieren wir derzeit die Punktmorphologie mit einem Schwellenwert, der auf der Länge der Mitochondrien basiert. In einigen Fällen kann es sinnvoll sein, Elliptizität einzubauen, um kleine stäbchenartige Mitochondrien besser von Puncta oder punktartigen Mitochondrien zu trennen. Alternativ, wenn bestimmte biologische Bedingungen dazu führen, dass sich die Mitochondrien zusammenrollen, kann die Krümmungsquantifizierung von Interesse sein, um die mitochondriale Population zu analysieren.
Erzeugung anderer subzellulärer Strukturen
Die physikbasierte Segmentierung subzellulärer Strukturen wurde für Mitochondrien und Vesikel nachgewiesen1. Obwohl Vesikel unterschiedliche Formen aufweisen, sind ihre Größen kleiner und erscheinen als einfache Kugeln, wenn sie durch ein Fluoreszenzmikroskop beobachtet werden. Daher wird die Geometrie von Vesikeln mit sphärischen Strukturen eines geeigneten Durchmesserbereichs simuliert. Dies impliziert eine Änderung der Funktion erzeugt die Geometrie (Zylinder bei Mitochondrien und Kugeln bei Vesikel) der Strukturen und der jeweiligen Parameter (Schritt 5.4 im Protokollabschnitt). Geometrisch wurden auch das endoplasmatische Retikulum und die Mikrotubuli als röhrenförmige Strukturen simuliert17. Die Modellierung des endoplasmatischen Retikulums mit einem Durchmesser von 150 nm und Mikrotubuli mit einem durchschnittlichen Außendurchmesser von 25 nm und einem inneren Hohlrohr von 15 nm Durchmesser liefert Annäherungen an die Formen dieser Strukturen. Ein weiterer Parameter, der für jede dieser subzellulären Strukturen variiert, ist die Fluorophordichte. Dies wird basierend auf der Verteilung des Biomoleküls, an das die Fluorophore binden, und der Wahrscheinlichkeit der Bindung berechnet.
Unterschied zur biologischen Grundwahrheit
Die simulierten Daten, die für das simulationsüberwachte Training des Deep-Learning-Modells verwendet werden, unterscheiden sich in vielerlei Hinsicht von realen Daten. (i) Das Fehlen einer unspezifischen Markierung in den simulierten Daten unterscheidet sich von den realen Daten, da in den realen Daten häufig frei schwebende Fluorophore enthalten sind. Dies führt zu einem höheren durchschnittlichen Hintergrundwert im realen Bild. Dieser Unterschied wird gemildert, indem das SNR abgeglichen und der Hintergrundwert so eingestellt wird, dass er mit den beobachteten realen Werten übereinstimmt. (ii) Die Bewegung subzellulärer Strukturen und Photokinetik sind zwei Quellen der Dynamik im System. Bewegte Strukturen in lebenden Zellen (die sich im Bereich von wenigen Millisekunden bewegen) verursachen Bewegungsunschärfe. Die Belichtungszeit wird während der realen Datenerfassung reduziert, um den Unschärfeeffekt zu vermeiden. Auf der anderen Seite simulieren wir keinen Zeitraffer und gehen von bewegungslosen Strukturen aus; Diese Annahme ist gültig, wenn die Belichtungszeit in den realen Daten klein ist. Diese Annahme kann jedoch zu einem Fehler in der Ausgabe führen, wenn die Belichtungszeit der realen Daten groß genug ist, um Bewegungsunschärfe zu verursachen. Die Photokinetik hingegen liegt in der Größenordnung von Nanosekunden bis Mikrosekunden und kann in der Simulation weggelassen werden, da die üblichen Belichtungszeiten von Experimenten lang genug sind (in der Größenordnung von Millisekunden), um die Effekte der Photokinetik zu mitteln. (iii) Rauschen in Mikroskopbildern hat unterschiedliche Quellen, und diese Quellen haben unterschiedliche Wahrscheinlichkeitsdichtefunktionen. Anstatt diese einzelnen Rauschquellen zu modellieren, nähern wir es uns als Gaußsches Rauschen über einen konstanten Hintergrund an. Dieser Unterschied ändert die Datenverteilung für die Bedingungen mit niedrigem Signal-zu-Hintergrund-Verhältnis (im Bereich von 2-4) und bei der Makrodichte von Fluorophoren1 nicht signifikant. (iv) Artefakte in der Bildgebung können durch Aberrationen, Drift und systematische Unschärfen entstehen. Wir gehen davon aus, dass das Mikroskop gut ausgerichtet ist und dass die für die Analyse in den realen Daten ausgewählten Regionen frei von diesen Artefakten sind. Es besteht auch die Möglichkeit, einige dieser Artefakte in der PSF18,19,20 zu modellieren.
Dicht gepackte Strukturen
Die Schwierigkeit, überlappende Stäbchen nicht von Netzwerken unterscheiden zu können, ist ein hartnäckiges Problem bei der Segmentierung von 2D-Mikroskopiedaten. Ein äußerst herausforderndes Szenario ist in Abbildung 5 dargestellt, in dem die Mitochondrien dicht gepackt sind, was zu suboptimalen Ergebnissen im Segmentierungsmodell und der folgenden Analyse führt. Trotz dieser Herausforderung kann die Verwendung morphologischer Operatoren in solchen Situationen, um die Skelettierung zu verschlanken, dazu beitragen, diese übermäßig verbundenen Netzwerke zu durchbrechen, während signifikante Veränderungen in allen mitochondrialen Morphologiekategorien immer noch erkannt werden können. Darüber hinaus ist die Verwendung eines konfokalen anstelle eines Weitfeldmikroskops für die Bildgebung eine Methode, um dieses Problem teilweise zu mildern, indem unscharfes Licht eliminiert wird. Darüber hinaus wäre es in Zukunft nützlich, eine 3D-Segmentierung durchzuführen, um Mitochondrien, die sich schneiden (dh physisch ein Netzwerk bilden), von stäbchenartigen Mitochondrien zu unterscheiden, deren Projektionen in einer einzigen Ebene sich überlappen.
Die Deep-Learning-Segmentierung ist ein vielversprechendes Werkzeug, das die Analysemöglichkeiten von Mikroskopie-Anwendern erweitert und damit die Möglichkeit der automatisierten Analyse komplexer Daten und großer quantitativer Datensätze eröffnet, die bisher unüberschaubar gewesen wären.
The authors have nothing to disclose.
Die Autoren würdigen das Gespräch mit Arif Ahmed Sekh. Zambarlal Bhujabal ist anerkannt für seine Unterstützung beim Aufbau der stabilen H9c2-Zellen. Wir erkennen die folgende Finanzierung an: ERC Starting Grant Nr. 804233 (an K.A.), Researcher Project for Scientific Renewal Grant Nr. 325741 (an D.K.P.), Northern Norway Regional Health Authority grant no. HNF1449-19 (Å.B.B.) und UiT’s thematisches Förderprojekt VirtualStain mit Cristin Project ID 2061348 (D.K.P., Å.B.B., K.A. und A.H.).
12-well plate | FALCON | 353043 | |
Aqueous Glutaraldehyde EM Grade 25% | Electron Microscopy Sciences | 16200 | |
Axio Vert.A1 | Zeiss | Brightfield microscope | |
CCCP | Sigma-Aldrich | C2759 | |
Computer | n/a | n/a | Must be running Linux/Windows Operating System having an NVIDIA GPU with at least 4GB of memory |
Coverslips | VWR | 631-0150 | |
DAPI (stain) | Sigma-Aldrich | D9542 | |
DMEM | gibco | 11966-025 | |
Fetal Bovine Serum | Sigma-Aldrich | F7524 | |
Glass Slides (frosted edge) | epredia | AA00000112E01MNZ10 | |
H9c2 mCherry-EGFP-OMP25 | In-house stable cell line derived from purchased cell line | ||
Incubator | Thermo Fisher Scientific | 51033557 | |
LSM 800 | Zeiss | Confocal Microscope | |
Mounting Media (Glass) | Thermo Fisher Scientific | P36980 | |
Paraformaldehyde Solution, 4% in PBS | Thermo Fisher Scientific | J19943-K2 | |
Plan-Apochromat 63x oil (M27) objective with an NA of 1.4 | Zeiss | 420782-9900-000 | |
Sterile laminar flow hood | Labogene | SCANLAF MARS | |
Trypsin | Sigma-Aldrich | T4049 | |
Vacusafe aspiration system | VACUUBRAND | 20727400 | |
ZEN 2.6 | Zeiss |