פילוח מבוסס למידה עמוקה של טומוגרפיות קריו-אלקטרונים
Summary
זוהי שיטה לאימון U-Net רב-פרוסות עבור פילוח רב-כיתתי של טומוגרפיות קריו-אלקטרונים באמצעות חלק מטומוגרפיה אחת כקלט אימון. אנו מתארים כיצד להסיק רשת זו לטומוגרפיות אחרות וכיצד לחלץ פילוחים לצורך ניתוחים נוספים, כגון ממוצע תת-טומוגרפיה ומעקב אחר חוטים.
Abstract
טומוגרפיית קריו-אלקטרונים (cryo-ET) מאפשרת לחוקרים לדמיין תאים במצבם הטבעי, רווי לחות ברזולוציה הגבוהה ביותר האפשרית כיום. עם זאת, לטכניקה מספר מגבלות שהופכות את ניתוח הנתונים שהיא מייצרת לגוזל זמן רב וקשה. פילוח ידני של טומוגרפיה בודדת יכול לקחת בין שעות לימים, אך מיקרוסקופ יכול בקלות לייצר 50 טומוגרפיות או יותר ביום. קיימות כיום תוכניות פילוח למידה עמוקה עבור cryo-ET, אך הן מוגבלות לפילוח מבנה אחד בכל פעם. כאן, רשתות עצביות קונבולוציוניות מרובות פרוסות U-Net מאומנות ומיושמות לפלח באופן אוטומטי מבנים מרובים בו זמנית בתוך טומוגרפיה קריו. עם עיבוד מקדים נכון, ניתן להסיק רשתות אלה בצורה חזקה על טומוגרפיות רבות ללא צורך באימון רשתות בודדות עבור כל טומוגרפיה. זרימת עבודה זו משפרת באופן דרמטי את המהירות שבה ניתן לנתח טומוגרפיות קריו-אלקטרונים על ידי קיצור זמן הסגמנטציה לפחות מ-30 דקות ברוב המקרים. יתר על כן, ניתן להשתמש בסגמנטציות כדי לשפר את הדיוק של מעקב אחר חוטי להט בהקשר תאי ולחלץ במהירות קואורדינטות לממוצע תת-טומוגרפיה.
Introduction
התפתחויות חומרה ותוכנה בעשור האחרון הביאו ל”מהפכת רזולוציה” עבור מיקרוסקופ קריו-אלקטרונים (cryo-EM)1,2. עם גלאים טובים ומהירים יותר3, תוכנה לאוטומציה של איסוף נתונים4,5, והתקדמות להגברת אותות כגון לוחות פאזה6, איסוף כמויות גדולות של נתוני cryo-EM ברזולוציה גבוהה הוא פשוט יחסית.
Cryo-ET מספק תובנה חסרת תקדים לגבי מבנה אולטרה תאי במצב ילידי ורווי לחות 7,8,9,10. המגבלה העיקרית היא עובי הדגימה, אך עם אימוץ שיטות כגון כרסום קרן יונים ממוקדת (FIB), שבו דגימות תאים ורקמות עבות מדוללות לטומוגרפיה11, האופק למה שניתן לצלם עם cryo-ET מתרחב ללא הרף. המיקרוסקופים החדשים ביותר מסוגלים לייצר מעל 50 טומוגרפיה ביום, וקצב זה צפוי רק לגדול עקב פיתוח תוכניות איסוף נתונים מהירות12,13. ניתוח כמויות הנתונים העצומות המופקות על ידי cryo-ET נותר צוואר בקבוק עבור שיטת הדמיה זו.
ניתוח כמותי של מידע טומוגרפי מחייב תחילה ביאור שלו. באופן מסורתי, זה דורש פילוח ידיים על ידי מומחה, אשר גוזל זמן; בהתאם למורכבות המולקולרית הכלולה בקריו-טומוגרפיה, זה יכול לקחת שעות עד ימים של תשומת לב ייעודית. רשתות עצביות מלאכותיות הן פתרון מושך לבעיה זו מכיוון שניתן לאמן אותן לבצע את רוב עבודת הסגמנטציה בשבריר מהזמן. רשתות עצביות קונבולוציוניות (CNNs) מתאימות במיוחד למשימות ראייה ממוחשבת14 והותאמו לאחרונה לניתוח טומוגרפיות קריו-אלקטרונים15,16,17.
CNN מסורתיים דורשים אלפים רבים של דגימות אימון מבוארות, דבר שאינו אפשרי לעתים קרובות עבור משימות ניתוח תמונה ביולוגית. לפיכך, ארכיטקטורת U-Net הצטיינה בתחום זה18 מכיוון שהיא מסתמכת על הגדלת נתונים כדי לאמן בהצלחה את הרשת, תוך מזעור התלות במערכי אימון גדולים. לדוגמה, ארכיטקטורת U-Net יכולה להיות מאומנת עם פרוסות בודדות בלבד של טומוגרפיה אחת (ארבע או חמש פרוסות) ולהסיק אותה בצורה חזקה על טומוגרפיות אחרות ללא הסבה מקצועית. פרוטוקול זה מספק מדריך שלב אחר שלב לאימון ארכיטקטורות רשת עצבית של U-Net לפלח טומוגרפיות קריו-טומוגרפיה אלקטרונים בתוך Dragonfly 2022.119.
Dragonfly היא תוכנה שפותחה מסחרית ומשמשת לסגמנטציה וניתוח תמונות תלת-ממדיות על ידי מודלים של למידה עמוקה, והיא זמינה לשימוש אקדמי באופן חופשי (חלות מגבלות גיאוגרפיות מסוימות). יש לו ממשק גרפי מתקדם המאפשר למי שאינו מומחה לנצל את מלוא היתרונות של למידה עמוקה הן עבור סגמנטציה סמנטית והן עבור הכחשת תמונה. פרוטוקול זה מדגים כיצד לעבד מראש ולבאר טומוגרפיות קריו-אלקטרונים בתוך Dragonfly לאימון רשתות עצביות מלאכותיות, אשר לאחר מכן ניתן להסיק לפלח במהירות מערכי נתונים גדולים. הוא גם דן ומדגים בקצרה כיצד להשתמש בנתונים מפולחים לניתוח נוסף כגון מעקב אחר חוטים וחילוץ קואורדינטות לממוצע תת-טומוגרפיה.
Protocol
Representative Results
Discussion
פרוטוקול זה מפרט נוהל לשימוש בתוכנת Dragonfly 2022.1 כדי לאמן U-Net רב מחלקות מטומוגרמה יחידה, וכיצד להסיק רשת זו לטומוגרפיות אחרות שאינן צריכות להיות מאותו מערך נתונים. האימון מהיר יחסית (יכול להיות מהיר כמו 3-5 דקות לכל תקופה או איטי כמו כמה שעות, תלוי לחלוטין ברשת כי הוא מאומן ואת החומרה בשימוש), ואימון מחדש של רשת כדי לשפר את הלמידה שלה הוא אינטואיטיבי. כל עוד שלבי העיבוד המוקדם מתבצעים עבור כל טומוגרפיה, ההסקה היא בדרך כלל חזקה.
עיבוד מקדים עקבי הוא השלב הקריטי ביותר להסקת מסקנות של למידה עמוקה. ישנם מסנני הדמיה רבים בתוכנה והמשתמש יכול להתנסות כדי לקבוע אילו מסננים פועלים בצורה הטובה ביותר עבור מערכי נתונים מסוימים; שים לב שכל סינון המשמש בטומוגרפיית האימון חייב להיות מיושם באותו אופן על טומוגרפיות ההיסק. כמו כן, יש להקפיד לספק לרשת מידע הדרכה מדויק ומספק. חשוב שכל התכונות המחולקות בתוך פרוסות האימון יחולקו בזהירות ובדייקנות רבה ככל האפשר.
פילוח התמונות מתבצע באמצעות ממשק משתמש מתוחכם ברמה מסחרית. הוא מספק את כל הכלים הדרושים לסגמנטציה ידנית ומאפשר העברה פשוטה של ווקסלים מכל כיתה אחת לאחרת לפני אימון והסבה מקצועית. המשתמש רשאי לפלח ידנית ווקסלים בתוך כל ההקשר של הטומוגרפיה, והם מקבלים תצוגות מרובות ואת היכולת לסובב את עוצמת הקול בחופשיות. בנוסף, התוכנה מספקת את היכולת להשתמש ברשתות מרובות מחלקות, אשר נוטות לבצע ביצועים טובים יותר16 והן מהירות יותר מאשר סגמנטציה עם רשתות מרובות מחלקה אחת.
יש, כמובן, מגבלות ליכולות של רשת עצבית. נתוני Cryo-ET הם, מטבעם, רועשים מאוד ומוגבלים בדגימה זוויתית, מה שמוביל לעיוותים ספציפיים לכיוון בעצמים זהים21. הדרכה מסתמכת על מומחה כדי לפלח מבנים בצורה מדויקת, ורשת מוצלחת היא טובה (או רעה) רק כמו נתוני האימון שהיא מקבלת. סינון תמונות להגברת האות מועיל למאמן, אך עדיין ישנם מקרים רבים שבהם קשה לזהות במדויק את כל הפיקסלים של מבנה נתון. לכן, חשוב לנקוט זהירות רבה בעת יצירת פילוח ההדרכה, כך שלרשת יהיה את המידע הטוב ביותר שניתן ללמוד במהלך האימון.
ניתן לשנות זרימת עבודה זו בקלות בהתאם להעדפה של כל משתמש. אמנם זה חיוני כי כל טומוגרפיה להיות מראש באותו אופן בדיוק, אין צורך להשתמש מסננים מדויקים המשמשים בפרוטוקול. התוכנה כוללת אפשרויות סינון תמונות רבות, ומומלץ לייעל אותן עבור הנתונים הספציפיים של המשתמש לפני היציאה לפרויקט פילוח גדול המתפרש על פני טומוגרפיות רבות. יש גם לא מעט ארכיטקטורות רשת זמינות לשימוש: U-Net מרובת פרוסות נמצאה כמתאימה ביותר לנתונים מהמעבדה הזו, אך משתמש אחר עשוי לגלות שארכיטקטורה אחרת (כגון U-Net תלת-ממדית או חיישן תלת-ממדי) עובדת טוב יותר. אשף הפילוח מספק ממשק נוח להשוואת ביצועים של רשתות מרובות באמצעות אותם נתוני אימון.
כלים כמו אלה המוצגים כאן יהפכו את פילוח היד של טומוגרפיה מלאה למשימה של העבר. עם רשתות עצביות מאומנות היטב הניתנות להסקת מסקנות חזקות, זה אפשרי לחלוטין ליצור זרימת עבודה שבה נתונים טומוגרפיים משוחזרים, מעובדים ומפולחים במלואם במהירות שהמיקרוסקופ יכול לאסוף אותם.
Disclosures
The authors have nothing to disclose.
Acknowledgements
מחקר זה נתמך על ידי מכללת פן סטייט לרפואה והמחלקה לביוכימיה וביולוגיה מולקולרית, כמו גם מענק קרן הסדר הטבק (TSF) 4100079742-EXT. השירותים והמכשירים של CryoEM ו- CryoET Core (RRID:SCR_021178) המשמשים בפרויקט זה מומנו, בחלקם, על ידי המכללה לרפואה של אוניברסיטת פנסילבניה באמצעות משרד סגן דיקן המחקר וסטודנטים לתארים מתקדמים ומחלקת הבריאות של פנסילבניה באמצעות קרנות הסדר טבק (CURE). התוכן הוא באחריותם הבלעדית של המחברים ואינו מייצג בהכרח את הדעות הרשמיות של האוניברסיטה או המכללה לרפואה. מחלקת הבריאות של פנסילבניה מתנערת במפורש מאחריות לכל ניתוח, פרשנות או מסקנות.
Materials
| Dragonfly 2022.1 | Object Research Systems | https://www.theobjects.com/dragonfly/index.html | |
| E18 Rat Dissociated Hippocampus | Transnetyx Tissue | KTSDEDHP | https://tissue.transnetyx.com/faqs |
| IMOD | University of Colorado | https://bio3d.colorado.edu/imod/ | |
| Intel® Xeon® Gold 6124 CPU 3.2GHz | Intel | https://www.intel.com/content/www/us/en/products/sku/120493/intel-xeon-gold-6134-processor-24-75m-cache-3-20-ghz/specifications.html | |
| NVIDIA Quadro P4000 | NVIDIA | https://www.nvidia.com/content/dam/en-zz/Solutions/design-visualization/productspage/quadro/quadro-desktop/quadro-pascal-p4000-data-sheet-a4-nvidia-704358-r2-web.pdf | |
| Windows 10 Enterprise 2016 | Microsoft | https://www.microsoft.com/en-us/evalcenter/evaluate-windows-10-enterprise | |
| Workstation Minimum Requirements | https://theobjects.com/dragonfly/system-requirements.html |
References
- Bai, X. -. C., Mcmullan, G., Scheres, S. H. W. How cryo-EM is revolutionizing structural biology. Trends in Biochemical Sciences. 40 (1), 49-57 (2015).
- de Oliveira, T. M., van Beek, L., Shilliday, F., Debreczeni, J., Phillips, C. Cryo-EM: The resolution revolution and drug discovery. SLAS Discovery. 26 (1), 17-31 (2021).
- Danev, R., Yanagisawa, H., Kikkawa, M. Cryo-EM performance testing of hardware and data acquisition strategies. Microscopy. 70 (6), 487-497 (2021).
- Mastronarde, D. N. Automated electron microscope tomography using robust prediction of specimen movements. Journal of Structural Biology. 152 (1), 36-51 (2005).
- . Tomography 5 and Tomo Live Software User-friendly batch acquisition for and on-the-fly reconstruction for cryo-electron tomography Datasheet Available from: https://assets.thermofisher.com/TFS-Assets/MSD/Datasheets/tomography-5-software-ds0362.pdf (2022)
- Danev, R., Baumeister, W. Expanding the boundaries of cryo-EM with phase plates. Current Opinion in Structural Biology. 46, 87-94 (2017).
- Hylton, R. K., Swulius, M. T. Challenges and triumphs in cryo-electron tomography. iScience. 24 (9), (2021).
- Turk, M., Baumeister, W. The promise and the challenges of cryo-electron tomography. FEBS Letters. 594 (20), 3243-3261 (2020).
- Oikonomou, C. M., Jensen, G. J. Cellular electron cryotomography: Toward structural biology in situ. Annual Review of Biochemistry. 86, 873-896 (2017).
- Wagner, J., Schaffer, M., Fernández-Busnadiego, R. Cryo-electron tomography-the cell biology that came in from the cold. FEBS Letters. 591 (17), 2520-2533 (2017).
- Lam, V., Villa, E. Practical approaches for Cryo-FIB milling and applications for cellular cryo-electron tomography. Methods in Molecular Biology. 2215, 49-82 (2021).
- Chreifi, G., Chen, S., Metskas, L. A., Kaplan, M., Jensen, G. J. Rapid tilt-series acquisition for electron cryotomography. Journal of Structural Biology. 205 (2), 163-169 (2019).
- Eisenstein, F., Danev, R., Pilhofer, M. Improved applicability and robustness of fast cryo-electron tomography data acquisition. Journal of Structural Biology. 208 (2), 107-114 (2019).
- Esteva, A., et al. Deep learning-enabled medical computer vision. npj Digital Medicine. 4 (1), (2021).
- Liu, Y. -. T., et al. Isotropic reconstruction of electron tomograms with deep learning. bioRxiv. , (2021).
- Moebel, E., et al. Deep learning improves macromolecule identification in 3D cellular cryo-electron tomograms. Nature Methods. 18 (11), 1386-1394 (2021).
- Chen, M., et al. Convolutional neural networks for automated annotation of cellular cryo-electron tomograms. Nature Methods. 14 (10), 983-985 (2017).
- Ronneberger, O., Fischer, P., Brox, T. U-net: Convolutional networks for biomedical image segmentation. Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 9351, 234-241 (2015).
- Kremer, J. R., Mastronarde, D. N., McIntosh, J. R. Computer visualization of three-dimensional image data using IMOD. Journal of Structural Biology. 116 (1), 71-76 (1996).
- Iancu, C. V., et al. A "flip-flop" rotation stage for routine dual-axis electron cryotomography. Journal of Structural Biology. 151 (3), 288-297 (2005).
