Een machine-vision benadering van transmissie-elektronenmicroscopie workflows, resultatenanalyse en gegevensbeheer

De interpretatie van TEM-experimentele resultaten is vaak afhankelijk van vele onderling verbonden experimentele parameters, zoals microscoopinstellingen, beeldvormingsomstandigheden en in het geval van operando- of in situ-experimenten, veranderingen in de omgeving of stimuli ^1,23. Nauwkeurige analyse van grote TEM-datasets, waarover deze parameters voortdurend kunnen worden gewijzigd, vereist aanzienlijke aandacht van de operator om elke voorwaarde en instelling voor elke afbeelding nauwkeurig vast te leggen in een laboratoriumjournaal of een andere externe documentatiebron. Naarmate TEM-datasets groter en complexer worden, wordt handmatige archivering onbeheersbaar en kan belangrijke informatie worden gemist of onnauwkeurig worden vastgelegd. De hier beschreven MVS-software consolideert de metadata die tijdens een experiment worden gegenereerd door de microscoop, de detector / camera en andere systemen (zoals in situ monsterhouders) en stemt ze uit op hun respectieve afbeeldingen.

Naast metadataconsolidatie past de software machine-vision-algoritmen toe om het gezichtsveld te volgen en te stabiliseren door een combinatie van ruimtelijke, straal- en digitale correcties met behulp van de Drift Correct – en Focus Assist-functies . Wanneer de Drift Correct-functie is ingeschakeld, wordt een cross-correlatie ‘sjabloon’-afbeelding gegenereerd met behulp van de eerste afbeelding die in de MVS-software wordt getrokken. De sjabloon wordt vervolgens vergeleken met binnenkomende afbeeldingen om de richting en grootte van de monsterdrift of -beweging te berekenen. Met deze informatie past de MVS-software automatisch de nodige correcties toe om de beeldfuncties op dezelfde plaats te houden door ten minste een van de drie parameters aan te passen: podiumlocatie, bundel- of beeldverschuiving en digitale beeldcorrectie. De Focus Assist-functie maakt gebruik van een combinatie van algoritmen om een focuswaarde toe te wijzen, de focusscore aan elke afbeelding genoemd, en die scores worden vergeleken om de grootte en richting van de onscherpte-aanpassing te bepalen die moet worden toegepast om het monster scherp te houden. In de STEM-beeldvormingsmodus probeert de MVS-software het contrast te maximaliseren door middel van een eigen versie van genormaliseerde variantie om de focusscore toe te wijzen. In de TEM-modus wordt een radiale som van de intensiteit berekend in de FFT en gebruikt om de focusscore te berekenen. Beperkingen aan het vermogen van de MVS-software om de focus te optimaliseren, treden op wanneer deze de juiste focusscore voor een afbeelding niet nauwkeurig kan berekenen. Dit gebeurt meestal wanneer de microscoop verkeerd is uitgelijnd of het monster tijdens de kalibratie aanzienlijk onscherp is, waardoor de software de juiste waarde voor de startfocusscore niet correct kan berekenen. De MVS-software kan moeite hebben met het berekenen van de focusscore voor monsters met goed gedefinieerde roosterranden, omdat de roosterranden in de FFT het focusscorealgoritme kunnen ‘overweldigen’; Als een steekproef dus onscherp wordt, geeft de focusscore mogelijk niet nauwkeurig de verandering in focus weer. Omgekeerd kan het werken met lage vergrotingen of met een monster met een laag FFT-signaal het ook een uitdaging maken om een goede focusscore te berekenen. Om deze problemen te verminderen, bevat de MVS-software een aantal extra algoritmen die door de gebruiker kunnen worden geselecteerd voor het berekenen van de focusscore als de standaardinstellingen niet geschikt zijn voor de steekproef. Deze moeten van geval tot geval worden getest en toegepast om de beste algoritmen voor een bepaald experiment te bepalen.

Morfologische veranderingen in de steekproefstructuur in de loop van de tijd worden verantwoord met behulp van een sjabloonmorfingsfactor. Dit filter is instelbaar door de operator, zodat registratie-algoritmen rekening houden met morfologische veranderingen in de loop van de tijd. Bovendien bewaakt de software het continue beeld, de microscoopinstellingen en de camera- of detectorinstellingen om de sjabloon automatisch bij te werken wanneer deze wordt geactiveerd door wijzigingen in de monsterstructuur en na door de operator veroorzaakte wijzigingen in de parameters van de microscoop, camera of detector. Zoals weergegeven in figuur 4, figuur 5, aanvullend bestand 7 en aanvullend bestand 8, biedt de MVS-software effectieve, onmiddellijke stabilisatie, waardoor beeldvorming met hoge resolutie van dynamisch bewegende of veranderende monsters mogelijk is. Hoewel de software in staat is om zeer hoge driftsnelheden of monsterbewegingen te regelen, zoals die optreden bij het toepassen van een verwarmingshelling tijdens een in situ experiment, zijn er beperkingen aan de maximale fasecorrecties of bundelverschuivingen die de software kan regelen als het monster beweegt of zeer snel drijft. Deze limiet is een functie van de beeldupdatesnelheid, de grootte van het gezichtsveld en de driftsnelheid. Voor een bepaald gezichtsveld en beeldupdatesnelheid is er een maximale driftsnelheid die kan worden gecorrigeerd, en als de fysieke bewegingen het niet kunnen bijhouden, kan het proces eindigen of onstabiel worden. Uit de registratiesjablonen die worden gegenereerd wanneer functies zoals Drift Correct worden toegepast, kunnen extra berekende metagegevens worden gegenereerd. Matchcorrelatie is bijvoorbeeld een numerieke registratie van de mate van verandering tussen sjablonen in een reeks en wordt gebruikt om punten in een experimentele tijdlijn te identificeren waarin de steekproef is gewijzigd. Een hoge matchcorrelatiewaarde komt overeen met een steekproef die veranderingen in zijn morfologie heeft ondergaan, en een lage matchcorrelatiewaarde komt overeen met een steekproef waarvan de structuur relatief statisch blijft. Matchcorrelatie is met name waardevol voor in situ studies omdat het grafisch kan worden uitgezet, waardoor de gebruiker snel afbeeldingen in de reeks kan lokaliseren die overeenkomen met significante steekproefverandering. Het is echter belangrijk om te begrijpen dat correlatiewaarden met een hoge overeenkomst ook kunnen overeenkomen met veranderingen in beeldvormingsomstandigheden, zoals het verplaatsen van het podium of het wijzigen van de vergroting, als deze acties worden uitgevoerd terwijl de driftcorrectiefunctie actief blijft.

De hier gepresenteerde kalibratieworkflow maakt gebruik van een unieke kalibratiehouder en een semi-geautomatiseerde kalibratieroutine om de bundel nauwkeurig te kalibreren onder verschillende lensomstandigheden met minimale tussenkomst van de operator. De dosiskalibratieroutine is toegankelijk via de MVS-software die op de TEM is geïnstalleerd. De MVS-software leest automatisch de relevante microscoopinstellingen om alle metingen op te slaan als referentie voor latere experimenten. Op sommige TEM’s is het niet mogelijk om de diafragma- of monochromatorinstellingen te lezen en deze moeten door de operator tijdens kalibraties en tijdens gebruik in de MVS-software-instellingen worden ingevoerd. Er zijn herinneringen ingebouwd in de software om deze operatorinvoerinstellingen up-to-date te houden door de programmaprompts te volgen. De ontwikkeling van een houder met een ingebouwde stroomcollector, in plaats van te vertrouwen op een houder die elders in de microscoopkolom is geïntegreerd, is een bewuste ontwerpkeuze. Hierdoor kan de stroomcollector op hetzelfde vlak als een monster worden geplaatst, waardoor fouten in de stroommeting worden geëlimineerd die worden veroorzaakt door bundelafbuiging of verschillen in de absorptie van elektronen door openingen op verschillende bundelposities. De MVS-software volgt een geautomatiseerde routine om de straalstroom en het gebied te meten voor elke combinatie van lensomstandigheden. De software kan deze gemeten kalibraties vervolgens correleren met de camera- of schermstroom en eventuele veranderingen in vergroting enz. extrapoleren naar het straalgebied tijdens het experiment. Eenmaal gegenereerd, kunnen deze kalibratiebestanden onmiddellijk worden gebruikt en worden ze automatisch opgeslagen voor later gebruik als de software dezelfde instellingen detecteert die tijdens een toekomstige sessie worden gebruikt. Hoewel de levensduur van het kalibratiebestand varieert van microscoop tot microscoop, hebben de auteurs ontdekt dat ze dezelfde kalibratiebestanden gedurende enkele maanden kunnen gebruiken zonder substantiële veranderingen in de huidige waarden waar te nemen. Er zijn ingebouwde routines die het emissieprofiel van pistolen bewaken om deze kalibraties relevant te houden, vooral op koude FEG-emissiepistolen.

Normalisatie van dosismetingen tussen microscopen en geautomatiseerde tracking van de blootstelling van een monster aan de bundel zijn kritieke functies van de MVS-software, omdat ze kwantitatieve vergelijkingen van dosiscondities tussen experimenten op verschillende microscoopsystemen mogelijk maken. Dosisgeïnduceerde afbraak van een zeolietmonster (ZSM-5), verkregen tijdens identieke experimenten met verschillende microscopen, resulteert in volledige verdwijning van de FFT-vlekken na een maximale cumulatieve of drempel-elektronendosis (~ 60.000 e-/Å 2 bij toepassing van een dosistempo van ~ 500 e^–/Ų·s) voor beide opstellingen. Deze vergelijkende resultaten tonen aan dat de dosissoftware reproduceerbare, kwantitatieve dosismetingen mogelijk maakt. Het kleine verschil in de cumulatieve dosis waarbij volledige FFT-spotverdwijning voor elk experiment wordt waargenomen, is waarschijnlijk een gevolg van de verschillende versnellingsspanningen die door de twee microscopen worden gebruikt, met lagere versnellingsspanningen die resulteren in meer stralingsschadepaden en hogere versnellingsspanningen die doorgaans resulteren in meer knock-on schade²⁴. Literatuurresultaten voor de kritische dosis ZSM-5 nanodeeltjes variëren van 9.000-14.000 e-/Ų met behulp van de eerste FFT-vlekverdwijningen, in plaats van de volledige verdwijning van alle ^{FFT-vlekken 25,26}. In onze resultaten komt de eerste FFT-spotverdwijning overeen met een cumulatieve dosis van ongeveer 25.000 e^–/Ų. Eerdere studies waren gebaseerd op stroommetingen verkregen met behulp van een fosforscherm, dat goed gedocumenteerd is om bundelstroommetingen te onderschatten in vergelijking met een Faraday cup¹⁵. De vastgestelde kritische dosis kan met een factor twee of meer variëren, afhankelijk van welke FFT-piek wordt gebruikt om de dosis te volgen. Dit geeft aan dat de hogere ruimtelijke frequenties eerst degraderen en kunnen resulteren in verschillende waarden, afhankelijk van de zonetoegang die tijdens de metingen wordt gebruikt (onze resultaten waren gericht op FFT-vlekken van het hele zeolietkristal, in plaats van specifieke structurele kenmerken)^25,26. Deze verschillen in technieken en huidige kalibratie verklaren het verschil in waarden tussen de twee experimenten die in onze resultaten en eerdere literatuurstudies zijn gerapporteerd.

Hoewel de interacties tussen elektronen een belangrijke factor zijn in veel TEM-experimenten, zijn in situ en specifiek vloeistof-EM-studies bijzonder gevoelig voor de effecten ervan. Radiolyse van vloeistoffen door de elektronenbundel resulteert in een cascade van chemisch reactieve soorten die kunnen interageren met het monster, wat de analyse bemoeilijkt. Zowel het dosistempo of de fluentie die tijdens een vloeistof-EM-experiment wordt gebruikt als de cumulatieve dosis kunnen van invloed zijn op de concentratie van radicale soorten die worden gegenereerd als gevolg van vloeibare radiolyse^27,28. Het verzamelen en registreren van zowel cumulatieve dosis- als dosissnelheidsmetagegevens gedurende een experiment maakt dus een directe correlatie mogelijk tussen afbeeldingen en de dosisgeschiedenis van een monster, en is een nauwkeurigere manier om de impact van de elektronenbundel in deze experimenten op te helderen en te beheersen. Hoewel niet behandeld in dit protocol, wordt een voorbeeld van het nut van de dosisbeheersingskenmerken voor vloeistof-EM weergegeven in figuur 6.

Figuur 6: Bundel-geïnduceerde groei van gouden nanodeeltjes tijdens een in situ vloeistof-EM experiment. (A) Low-magnification STEM overzicht van de resulterende deeltjesgroei met een kleuroverlay van de cumulatieve dosiskaart in het hele gebied. Rode gebieden in de overlay geven gebieden aan met een hoge cumulatieve dosisblootstelling en gele gebieden geven gebieden met een lagere blootstelling aan. Als u een afzonderlijke pixel met de cursor markeert of een vak over een gebied tekent met de meegeleverde tekengereedschappen, wordt de cumulatieve dosis voor die pixel of dat gebied aangegeven. De schaalbalk is 2 μm. (B,C) Hogere vergroting STEM-afbeeldingen van de gebieden die worden aangegeven door de oranje vakken (b,c) in A. Gebied b, blootgesteld aan een hogere cumulatieve dosis (10,811 e-/Å 2) bevat grotere deeltjes dan die in gebied c, dat werd blootgesteld aan een lagere cumulatieve dosis (0,032 e^–/Ų). Klik hier om een grotere versie van deze figuur te bekijken.

Het verrijkte dosistempo en de cumulatieve dosismetagegevens vereenvoudigen de analyse van dosisafhankelijke groei- en afbraakroutes van nanomaterialen. Figuur 6 toont de bundel-geïnduceerde reductie van een oplossing van goud auric chloride (HAuCl₃) ionen in water tijdens vloeistof-EM experimenten. Uit de kleurdosiskaartoverlay in figuur 6A is het gemakkelijk om te visualiseren dat de cumulatieve elektronendosis de resulterende grootte en vorm van de nanodeeltjes 29,30,31,32 beïnvloedt. Het STEM-overzicht met lage vergroting toont regio’s die zijn blootgesteld aan een hoge (rode) en lage (gele) cumulatieve dosis. De deeltjes in het gebied dat wordt blootgesteld aan hogere doses zijn groter dan die in de regio’s die worden blootgesteld aan lagere cumulatieve doses. Omdat de dosismetagegevens direct in elke afbeelding op pixelniveau zijn ingebed, kunnen de complexe effecten van elektronendosis in vloeistof-EM-experimenten nu systematisch worden geanalyseerd op een manier die nooit eerder haalbaar was.

In dit protocol hebben we aangetoond dat MVS-software een uitgebreide oplossing biedt voor het kalibreren, bewaken en volgen van zowel de elektronendosis als de totale dosis die pixel voor pixel aan een monster wordt geleverd. Dit vermogen ontsluit een nieuw paradigma voor het afbeelden van dosisgevoelige monsters en het begrijpen van de elektronenbundelinteracties. Het is vooral opwindend voor vloeistof-EM-experimenten, omdat het een effectievere ondervraging mogelijk maakt van de rol die de elektronendosis speelt en de experimentele reproduceerbaarheid verbetert. Het is onze hoop dat dit nieuwe kader de nauwkeurige verzameling van dosistempo en geaccumuleerde dosisinformatie mogelijk zal maken, het delen van deze gegevens met de gemeenschap zal vergemakkelijken voor een nauwkeurigere interpretatie van TEM-resultaten en wetenschappelijke samenwerking en gegevensuitwisseling zal bevorderen door FAIR-hoofdrapportage en -analyse mogelijk te maken.