التجزئة القائمة على التعلم العميق للتصوير المقطعي الإلكتروني بالتبريد
Summary
هذه طريقة لتدريب U-Net متعدد الشرائح على تجزئة متعددة الفئات من التصوير المقطعي الإلكتروني بالتبريد باستخدام جزء من صورة مقطعية واحدة كمدخل تدريب. نصف كيفية استنتاج هذه الشبكة إلى الصور المقطعية الأخرى وكيفية استخراج التقسيمات لمزيد من التحليلات ، مثل متوسط التصوير المقطعي الفرعي وتتبع الخيوط.
Abstract
يسمح التصوير المقطعي بالتبريد الإلكتروني (cryo-ET) للباحثين بتصوير الخلايا في حالتها الأصلية المائية بأعلى دقة ممكنة حاليا. ومع ذلك ، فإن هذه التقنية لها العديد من القيود التي تجعل تحليل البيانات التي تولدها يستغرق وقتا طويلا وصعبا. يمكن أن يستغرق تقسيم صورة مقطعية واحدة يدويا من ساعات إلى أيام ، ولكن يمكن للمجهر بسهولة توليد 50 صورة مقطعية أو أكثر يوميا. توجد برامج تجزئة التعلم العميق الحالية ل cryo-ET ، ولكنها تقتصر على تجزئة بنية واحدة في كل مرة. هنا ، يتم تدريب الشبكات العصبية التلافيفية متعددة الشرائح U-Net وتطبيقها لتقسيم هياكل متعددة تلقائيا في وقت واحد داخل التصوير المقطعي بالتبريد. مع المعالجة المسبقة المناسبة ، يمكن الاستدلال على هذه الشبكات بقوة للعديد من الصور المقطعية دون الحاجة إلى تدريب الشبكات الفردية لكل تصوير مقطعي. يعمل سير العمل هذا على تحسين السرعة التي يمكن بها تحليل التصوير المقطعي الإلكتروني بالتبريد بشكل كبير عن طريق تقليل وقت التجزئة إلى أقل من 30 دقيقة في معظم الحالات. علاوة على ذلك ، يمكن استخدام التقسيمات لتحسين دقة تتبع الخيوط في سياق خلوي ولاستخراج الإحداثيات بسرعة لحساب متوسط التصوير المقطعي الفرعي.
Introduction
أدت تطورات الأجهزة والبرامج في العقد الماضي إلى “ثورة في الدقة” للمجهر الإلكتروني بالتبريد (cryo-EM) 1,2. مع أجهزة الكشف الأفضل والأسرع3 ، وبرنامج أتمتة جمع البيانات 4,5 ، والتقدم في تعزيز الإشارة مثل لوحات الطور6 ، فإن جمع كميات كبيرة من بيانات cryo-EM عالية الدقة أمر بسيط نسبيا.
يوفر Cryo-ET رؤية غير مسبوقة للبنية الخلوية في حالة رطبة أصلية7،8،9،10. القيد الأساسي هو سمك العينة ، ولكن مع اعتماد طرق مثل طحن الحزمة الأيونية المركزة (FIB) ، حيث يتم تخفيف العينات الخلوية والأنسجة السميكة للتصوير المقطعي11 ، فإن أفق ما يمكن تصويره باستخدام cryo-ET يتوسع باستمرار. أحدث المجاهر قادرة على إنتاج أكثر من 50 صورة مقطعية في اليوم ، ومن المتوقع أن يزداد هذا المعدل فقط بسبب تطوير مخططات جمع البيانات السريعة12,13. لا يزال تحليل الكميات الهائلة من البيانات التي ينتجها cryo-ET يمثل عنق الزجاجة لطريقة التصوير هذه.
يتطلب التحليل الكمي للمعلومات المقطعية أن يتم شرحها أولا. تقليديا ، يتطلب هذا تجزئة اليد من قبل خبير ، وهو أمر يستغرق وقتا طويلا. اعتمادا على التعقيد الجزيئي الموجود في التصوير المقطعي بالتبريد ، قد يستغرق الأمر ساعات إلى أيام من الاهتمام المخصص. تعد الشبكات العصبية الاصطناعية حلا جذابا لهذه المشكلة حيث يمكن تدريبها على القيام بالجزء الأكبر من أعمال التجزئة في جزء صغير من الوقت. الشبكات العصبية التلافيفية (CNNs) مناسبة بشكل خاص لمهام رؤية الكمبيوتر14 وقد تم تكييفها مؤخرا لتحليل التصوير المقطعي الإلكتروني بالتبريد15،16،17.
تتطلب شبكات CNN التقليدية عدة آلاف من عينات التدريب المشروحة ، وهو أمر غير ممكن في كثير من الأحيان لمهام تحليل الصور البيولوجية. ومن ثم ، فقد تفوقت بنية U-Net في هذا المجال18 لأنها تعتمد على زيادة البيانات لتدريب الشبكة بنجاح ، مما يقلل من الاعتماد على مجموعات التدريب الكبيرة. على سبيل المثال ، يمكن تدريب بنية U-Net باستخدام بضع شرائح فقط من صورة مقطعية واحدة (أربع أو خمس شرائح) والاستدلال بقوة على الصور المقطعية الأخرى دون إعادة التدريب. يوفر هذا البروتوكول دليلا تفصيليا لتدريب معماريات الشبكات العصبية U-Net على تقسيم التصوير المقطعي بالتبريد الإلكتروني داخل Dragonfly 2022.119.
Dragonfly هو برنامج مطور تجاريا يستخدم لتجزئة وتحليل الصور 3D بواسطة نماذج التعلم العميق ، وهو متاح مجانا للاستخدام الأكاديمي (تنطبق بعض القيود الجغرافية). يحتوي على واجهة رسومية متقدمة تسمح لغير الخبراء بالاستفادة الكاملة من قوى التعلم العميق لكل من التجزئة الدلالية وتقليل ضوضاء الصورة. يوضح هذا البروتوكول كيفية المعالجة المسبقة والتعليق على الصور المقطعية الإلكترونية المبردة داخل Dragonfly لتدريب الشبكات العصبية الاصطناعية ، والتي يمكن الاستدلال عليها بعد ذلك لتقسيم مجموعات البيانات الكبيرة بسرعة. كما يناقش ويوضح بإيجاز كيفية استخدام البيانات المجزأة لمزيد من التحليل مثل تتبع الخيوط واستخراج الإحداثيات لحساب متوسط التصوير المقطعي الفرعي.
Protocol
Representative Results
Discussion
يحدد هذا البروتوكول إجراء لاستخدام برنامج Dragonfly 2022.1 لتدريب U-Net متعدد الفئات من صورة مقطعية واحدة ، وكيفية استنتاج تلك الشبكة إلى صور مقطعية أخرى لا يلزم أن تكون من نفس مجموعة البيانات. التدريب سريع نسبيا (يمكن أن يصل إلى 3-5 دقائق لكل حقبة أو بطيء مثل بضع ساعات ، اعتمادا كليا على الشبكة التي يتم تدريبها والأجهزة المستخدمة) ، وإعادة تدريب الشبكة لتحسين تعلمها أمر بديهي. طالما يتم تنفيذ خطوات المعالجة المسبقة لكل تصوير مقطعي مقطعي ، فإن الاستدلال عادة ما يكون قويا.
المعالجة المسبقة المتسقة هي الخطوة الأكثر أهمية لاستدلال التعلم العميق. هناك العديد من مرشحات التصوير في البرنامج ويمكن للمستخدم تجربة تحديد المرشحات التي تعمل بشكل أفضل لمجموعات بيانات معينة ؛ لاحظ أنه مهما كان الترشيح المستخدم في التصوير المقطعي للتدريب ، يجب تطبيقه بنفس الطريقة على التصوير المقطعي الاستدلالي. يجب أيضا توخي الحذر لتزويد الشبكة بمعلومات تدريب دقيقة وكافية. من الضروري أن يتم تقسيم جميع الميزات المجزأة داخل شرائح التدريب بعناية ودقة قدر الإمكان.
يتم تسهيل تجزئة الصورة من خلال واجهة مستخدم متطورة من الدرجة التجارية. يوفر جميع الأدوات اللازمة لتجزئة اليد ويسمح بإعادة التعيين البسيط للفوكسل من أي فئة إلى أخرى قبل التدريب وإعادة التدريب. يسمح للمستخدم بتقطيع voxels يدويا ضمن السياق الكامل للتصوير المقطعي ، ويتم منحهم وجهات نظر متعددة والقدرة على تدوير مستوى الصوت بحرية. بالإضافة إلى ذلك ، يوفر البرنامج القدرة على استخدام شبكات متعددة الفئات ، والتي تميل إلى أداءأفضل 16 وأسرع من التقسيم مع شبكات متعددة من فئة واحدة.
هناك ، بالطبع ، قيود على قدرات الشبكة العصبية. بيانات Cryo-ET ، بطبيعتها ، صاخبة للغاية ومحدودة في أخذ العينات الزاوية ، مما يؤدي إلى تشوهات خاصة بالاتجاه في كائنات متطابقة21. يعتمد التدريب على خبير لتقسيم الهياكل بدقة ، والشبكة الناجحة جيدة (أو سيئة) فقط مثل بيانات التدريب التي يتم تقديمها. تعد تصفية الصور لتعزيز الإشارة مفيدة للمدرب ، ولكن لا يزال هناك العديد من الحالات التي يصعب فيها تحديد جميع وحدات البكسل بدقة في بنية معينة. لذلك ، من المهم توخي الحذر الشديد عند إنشاء تجزئة التدريب بحيث يكون لدى الشبكة أفضل المعلومات الممكنة للتعلم أثناء التدريب.
يمكن تعديل سير العمل هذا بسهولة حسب تفضيل كل مستخدم. في حين أنه من الضروري أن تتم معالجة جميع الصور المقطعية مسبقا بنفس الطريقة تماما ، فليس من الضروري استخدام المرشحات الدقيقة المستخدمة في البروتوكول. يحتوي البرنامج على العديد من خيارات تصفية الصور ، ويوصى بتحسينها لبيانات المستخدم الخاصة قبل الشروع في مشروع تجزئة كبير يمتد عبر العديد من الصور المقطعية. هناك أيضا عدد غير قليل من معماريات الشبكات المتاحة للاستخدام: تم العثور على U-Net متعدد الشرائح للعمل بشكل أفضل للبيانات من هذا المختبر ، ولكن قد يجد مستخدم آخر أن بنية أخرى (مثل 3D U-Net أو Sensor 3D) تعمل بشكل أفضل. يوفر معالج التجزئة واجهة ملائمة لمقارنة أداء شبكات متعددة باستخدام نفس بيانات التدريب.
أدوات مثل تلك المعروضة هنا ستجعل تجزئة اليد من التصوير المقطعي الكامل مهمة من الماضي. من خلال الشبكات العصبية المدربة جيدا والتي يمكن الاستدلال عليها بقوة ، من الممكن تماما إنشاء سير عمل حيث يتم إعادة بناء بيانات التصوير المقطعي ومعالجتها وتجزئتها بالكامل بأسرع ما يمكن للمجهر جمعها.
Disclosures
The authors have nothing to disclose.
Acknowledgements
تم دعم هذه الدراسة من قبل كلية الطب بولاية بنسلفانيا وقسم الكيمياء الحيوية والبيولوجيا الجزيئية ، بالإضافة إلى منحة صندوق تسوية التبغ (TSF) 4100079742-EXT. تم تمويل خدمات وأدوات CryoEM و CryoET Core (RRID: SCR_021178) المستخدمة في هذا المشروع ، جزئيا ، من قبل كلية الطب بجامعة ولاية بنسلفانيا عبر مكتب نائب عميد البحث وطلاب الدراسات العليا ووزارة الصحة في بنسلفانيا باستخدام صناديق تسوية التبغ (CURE). المحتوى هو مسؤولية المؤلفين فقط ولا يمثل بالضرورة الآراء الرسمية للجامعة أو كلية الطب. تتنصل وزارة الصحة في ولاية بنسلفانيا على وجه التحديد من المسؤولية عن أي تحليلات أو تفسيرات أو استنتاجات.
Materials
| Dragonfly 2022.1 | Object Research Systems | https://www.theobjects.com/dragonfly/index.html | |
| E18 Rat Dissociated Hippocampus | Transnetyx Tissue | KTSDEDHP | https://tissue.transnetyx.com/faqs |
| IMOD | University of Colorado | https://bio3d.colorado.edu/imod/ | |
| Intel® Xeon® Gold 6124 CPU 3.2GHz | Intel | https://www.intel.com/content/www/us/en/products/sku/120493/intel-xeon-gold-6134-processor-24-75m-cache-3-20-ghz/specifications.html | |
| NVIDIA Quadro P4000 | NVIDIA | https://www.nvidia.com/content/dam/en-zz/Solutions/design-visualization/productspage/quadro/quadro-desktop/quadro-pascal-p4000-data-sheet-a4-nvidia-704358-r2-web.pdf | |
| Windows 10 Enterprise 2016 | Microsoft | https://www.microsoft.com/en-us/evalcenter/evaluate-windows-10-enterprise | |
| Workstation Minimum Requirements | https://theobjects.com/dragonfly/system-requirements.html |
References
- Bai, X. -. C., Mcmullan, G., Scheres, S. H. W. How cryo-EM is revolutionizing structural biology. Trends in Biochemical Sciences. 40 (1), 49-57 (2015).
- de Oliveira, T. M., van Beek, L., Shilliday, F., Debreczeni, J., Phillips, C. Cryo-EM: The resolution revolution and drug discovery. SLAS Discovery. 26 (1), 17-31 (2021).
- Danev, R., Yanagisawa, H., Kikkawa, M. Cryo-EM performance testing of hardware and data acquisition strategies. Microscopy. 70 (6), 487-497 (2021).
- Mastronarde, D. N. Automated electron microscope tomography using robust prediction of specimen movements. Journal of Structural Biology. 152 (1), 36-51 (2005).
- . Tomography 5 and Tomo Live Software User-friendly batch acquisition for and on-the-fly reconstruction for cryo-electron tomography Datasheet Available from: https://assets.thermofisher.com/TFS-Assets/MSD/Datasheets/tomography-5-software-ds0362.pdf (2022)
- Danev, R., Baumeister, W. Expanding the boundaries of cryo-EM with phase plates. Current Opinion in Structural Biology. 46, 87-94 (2017).
- Hylton, R. K., Swulius, M. T. Challenges and triumphs in cryo-electron tomography. iScience. 24 (9), (2021).
- Turk, M., Baumeister, W. The promise and the challenges of cryo-electron tomography. FEBS Letters. 594 (20), 3243-3261 (2020).
- Oikonomou, C. M., Jensen, G. J. Cellular electron cryotomography: Toward structural biology in situ. Annual Review of Biochemistry. 86, 873-896 (2017).
- Wagner, J., Schaffer, M., Fernández-Busnadiego, R. Cryo-electron tomography-the cell biology that came in from the cold. FEBS Letters. 591 (17), 2520-2533 (2017).
- Lam, V., Villa, E. Practical approaches for Cryo-FIB milling and applications for cellular cryo-electron tomography. Methods in Molecular Biology. 2215, 49-82 (2021).
- Chreifi, G., Chen, S., Metskas, L. A., Kaplan, M., Jensen, G. J. Rapid tilt-series acquisition for electron cryotomography. Journal of Structural Biology. 205 (2), 163-169 (2019).
- Eisenstein, F., Danev, R., Pilhofer, M. Improved applicability and robustness of fast cryo-electron tomography data acquisition. Journal of Structural Biology. 208 (2), 107-114 (2019).
- Esteva, A., et al. Deep learning-enabled medical computer vision. npj Digital Medicine. 4 (1), (2021).
- Liu, Y. -. T., et al. Isotropic reconstruction of electron tomograms with deep learning. bioRxiv. , (2021).
- Moebel, E., et al. Deep learning improves macromolecule identification in 3D cellular cryo-electron tomograms. Nature Methods. 18 (11), 1386-1394 (2021).
- Chen, M., et al. Convolutional neural networks for automated annotation of cellular cryo-electron tomograms. Nature Methods. 14 (10), 983-985 (2017).
- Ronneberger, O., Fischer, P., Brox, T. U-net: Convolutional networks for biomedical image segmentation. Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 9351, 234-241 (2015).
- Kremer, J. R., Mastronarde, D. N., McIntosh, J. R. Computer visualization of three-dimensional image data using IMOD. Journal of Structural Biology. 116 (1), 71-76 (1996).
- Iancu, C. V., et al. A "flip-flop" rotation stage for routine dual-axis electron cryotomography. Journal of Structural Biology. 151 (3), 288-297 (2005).
