Метод 3D-реконструкции и анализа виртуальной реальности глиальных и нейрональных клеток
Summary
Описанный конвейер предназначен для сегментации наборов данных электронной микроскопии больше гигабайт, для извлечения морфологий из целых клеток. После реконструкции ячеек в 3D, индивидуальное программное обеспечение, разработанное вокруг индивидуальных потребностей, может быть использовано для выполнения качественного и количественного анализа непосредственно в 3D, также используя виртуальную реальность для преодоления окклюзии зрения.
Abstract
Серийное сечение и последующее изображение биологической ткани с высоким разрешением с помощью электронной микроскопии (ЭМ) позволяют сегментировать и реконструировать изображения с высоким разрешением, чтобы выявить ультраструктурные закономерности, которые не могли быть решены с помощью 2D Изображения. Действительно, последнее может привести к неправильному толкованию морфологий, как в случае митохондрий; поэтому использование 3D-моделей становится все более и более распространенным и применяется к разработке функциональных гипотез на основе морфологии. На сегодняшний день использование 3D-моделей, генерируемых из световых или электронных стеков изображений, делает качественные, визуальные оценки, а также количественную оценку, более удобной для выполнения непосредственно в 3D. Поскольку эти модели часто чрезвычайно сложны, также важно создать среду виртуальной реальности для преодоления окклюзии и полного использования 3D-структуры. Здесь подробно описано пошаговое руководство от сегментации изображений до реконструкции и анализа.
Introduction
Первая предлагаемая модель для установки электронной микроскопии, позволяющей автоматический серийный раздел и визуализации восходит к 19811; диффузии таких автоматизированных, улучшенных установк для изображения больших образцов с использованием EM увеличилось в последние десять лет2,3, и работы демонстрации впечатляющих плотных реконструкций или полной морфологии сразу же после4, 5,6,7,8,9,10.
Производство больших наборов данных возникло с необходимостью улучшения конвейеров для сегментации изображений. Программные средства для ручной сегментации серийных секций, таких как RECONSTRUCT и TrakEM211,12, были разработаны для передачи электронной микроскопии (TEM). Поскольку весь процесс может быть чрезвычайно трудоемким, эти инструменты не подходят при работе с тысячами серийных микрографов, которые могут быть автоматически генерируемыми с помощью современных автоматизированных методов серийного раздела EM (3DEM), таких как блок-лицо сканирования электронной микроскопии (SBEM)3 или сфокусированный ионный луч сканирования электронной микроскопии (FIB-SEM)2. По этой причине ученые прилагали усилия для разработки полуавтоматических инструментов, а также полностью автоматизированных инструментов для повышения эффективности сегментации. Полностью автоматизированные инструменты, основанные на машинном обучении13 или современных, неподготовленных алгоритмах классификации пикселей14,совершенствуются для использования более широким сообществом; тем не менее, сегментация все еще далека от полной надежности, и многие работы по-прежнему основаны на ручном труде, который является неэффективным с точки зрения времени сегментации, но по-прежнему обеспечивает полную надежность. Полуавтоматические инструменты, такие как ilastik15,представляют собой лучший компромисс, так как они обеспечивают немедленное считывание для сегментации, которые могут быть исправлены в некоторой степени, хотя он не обеспечивает реальную основу корректирования, и может быть интегрирована с помощью TrakEM2 параллельно16.
Крупномасштабная сегментация на сегодняшний день в основном ограничивается коннектомикой; Поэтому, компьютерные ученые больше всего заинтересованы в предоставлении рамок для комплексных визуализаций больших, аннотированных наборов данных и анализировать модели подключения, выведенные наличием синаптических контактов17,18. Тем не менее, точные 3D-реконструкции могут быть использованы для количественного морфометрического анализа, а не для качественной оценки 3D-структур. Инструменты, как NeuroMorph19,20 и гликоген агенанализа 10 были разработаны для измерения на 3D-реконструкций для длины, поверхностных областей и объемов, и на распределение облачных точек, полностью отбрасывая оригинальный стек EM8,10. Астроциты представляют собой интересный пример, потому что отсутствие визуальных подсказок или повторяющихся структурных моделей дают следователям намек на функцию отдельных структурных подразделений и последующее отсутствие адекватной онтологии астроцитических процессов 21, сделать его сложным для разработки аналитических инструментов. Одной из последних попыток был Abstractocyte22, который позволяет визуальное исследование астроцитарных процессов и вывод качественных отношений между астроцитарными процессами и невритами.
Тем не менее, удобство визуализации секционной ткани под EM происходит от того, что объем информации, скрытой в неповрежденных образцов мозга огромен и интерпретации одного раздела изображения могут преодолеть эту проблему. Плотность структур в головном мозге настолько высока, что 3D-реконструкции даже нескольких объектов, видимых сразу, сделают невозможным их визуальное различание. По этой причине мы недавно предложили использовать виртуальную реальность (VR) в качестве усовершенствованного метода наблюдения за сложными структурами. Мы фокусируемся на астроцитах23, чтобы преодолеть окклюзию (которая является блокированием видимости объекта, представляющего интерес со вторым, в 3D пространстве) и облегчить качественную оценку реконструкций, включая корректирование, а также количественные оценки объектов с использованием количества очков в пространстве. Недавно мы объединили VR визуальное исследование с использованием GLAM (гликогена полученных лактата поглощения модели), техника, чтобы визуализировать карту лактата челнока вероятность невитов, рассматривая гранулы гликогена, как светоизлучающих органов23; в частности, мы использовали VR для количественной оценки световых пиков производства GLAM.
Protocol
Representative Results
Discussion
Представленный здесь метод является полезным пошаговоц-гидом для сегментации и 3D-реконструкции многомасштабного набора данных EM, независимо от того, являются ли они получены из методов визуализации высокого разрешения, таких как FIB-SEM, или других автоматизированных методов последовательного секций и визуализации. FIB-SEM имеет преимущество потенциально достижения идеальной изотропной в размере вокселя путем резки разделов, как тонкие, как 5 нм с помощью сфокусированного ионного луча, его FOV может быть ограничено 15-20 мкм из-за побочных артефактов, которые, возможно, из-за осаждения вырезанной ткани, если FO V превышает это значение. Таких артефактов можно избежать с помощью других методов, таких как SBEM, который использует алмазный нож, чтобы сократить серийные разделы внутри микроскопа камеры. В этом последнем случае разрешение z может быть около 20 нм в лучшем случае (обычно, 50 нм), но FOV может быть больше, хотя разрешение пикселей должно быть скомпрометировано для обширного региона, интересующего. Одним из решений для преодоления таких ограничений (увеличение по отношению к FOV) является разделение региона, интересуемого плиткой, и приобретение каждого из них в более высоком разрешении. Мы показали здесь результаты как стек-набор sBEM (i) в репрезентативных результатах, так и набор данных FIB-SEM (ii) в репрезентативных результатах.
По мере того, как поколение все больших и больших наборов данных становится все более распространенным явлением, прилагаются к умножению усилий по созданию инструментов для классификации пикселей и автоматической сегментации изображений; тем не менее, на сегодняшний день ни одно программное обеспечение не доказало надежность, сравнимую с достоверностью человеческих корректуру, которая, следовательно, по-прежнему необходима, независимо от того, насколько это отнимает много времени. Как правило, небольшие наборы данных, которые могут быть сокращены, как в случае набора данных (ii), могут быть плотно реконструированы одним экспертным пользователем в течение недели, включая время корректура.
Представленный здесь протокол включает в себя использование трех программ, в частности: Фиджи (версия 2.0.0-rc-65/1.65b), ilastik (версия 1.3.2 rc2) и Blender (2.79), которые являются открытым исходным кодом и многоплатформенными программами и загружаются бесплатно. Фиджи является выпуск ImageJ, питание от плагинов для биологического анализа изображений. Он имеет надежную архитектуру программного обеспечения и предлагается, как это общая платформа для ученых жизни и включает в себя TrakEM2, один из первых и наиболее широко используемых плагинов для сегментации изображений. Одной из проблем, с которой сталкиваются многие пользователи в последнее время, является переход от Java 6 к Java 8, который создает проблемы совместимости; поэтому мы предлагаем воздержаться от обновления до Java 8, если это возможно, чтобы Фиджи могли нормально работать. ilastik является мощным программным обеспечением, обеспечивающим ряд рамок для классификации пикселей, каждый из которых документирован и объяснен на их веб-сайте. Модуль резьбы, используемый для полуавтоматической сегментации стеков EM, удобен, так как экономит много времени, позволяя ученым сократить время, затрачиваемые на ручную работу, от нескольких месяцев до нескольких дней для опытного пользователя, так как одним щелчком мыши может быть весь нейрит сегментированных в секундах. Этап предварительной обработки очень интенсивный с аппаратной точки зрения, и очень большие наборы данных, такие как представленный здесь стек SBEM, который составлял 26 ГБ, требуют своеобразных стратегий, чтобы вписаться в память, учитывая, что можно было бы получить большой набор данных, потому что не может компромиссное поле зрения и разрешения. Таким образом, в этом случае снижение выборки может оказаться неподходящим решением. Последний выпуск программного обеспечения может сделать предварительную обработку в течение нескольких часов с мощной рабочей станцией Linux, но сегментация займет несколько минут, и прокрутка через стек будет по-прежнему относительно медленно. Мы по-прежнему используем этот метод для первой, грубой сегментации и корректироводирования с помощью TrakEM2. Наконец, Blender — это программное обеспечение для 3D-моделирования с мощным 3D-релизывающим движком, который можно настроить с помощью скриптов python, которые могут быть встроены в основной графический интерфейс в качестве дополнений, таких как NeuroMorph и анализ гликогена. Гибкость этого программного обеспечения связана с недостатком, что, в отличие от Фиджи, например, он не предназначен для онлайн визуализации больших наборов данных; поэтому визуализация и навигация по большим сеткам (превышающая 1 ГБ) может быть медленной и неэффективной. Из-за этого, это всегда целесообразно выбрать методы, которые уменьшают сложность сетки, но осторожны, чтобы не нарушить первоначальную морфологию структуры интересов. Функция remesh пригодится и является встроенной функцией инструмента импорта партии NeuroMorph. Проблема с этой функцией заключается в том, что, в зависимости от количества головокружений исходной сетки, значение глубины octree, которое связано с окончательным разрешением, должно быть соответствующим образом изменено. Небольшие объекты могут быть remeshed с небольшой глубиной octree (например, 4), но то же значение может нарушить морфологию крупных объектов, которая нуждается в больших значениях (6 в лучшем случае, до 8 или даже 9 для очень большой сетки, такие как полная ячейка). Целесообразно сделать этот процесс итеративным и проверить различные глубины octree, если размер объекта не ясен.
Как упоминалось ранее, один аспект, который должен быть принят во внимание, это вычислительная мощность, которая будет посвящена реконструкции и анализу, связанные с программным обеспечением, которое используется. Все операции, указанные в репрезентативных результатах данной рукописи, были получены с помощью MacPro, оснащенного картой AMD FirePro D500 Graphics, 64 ГБ оперативной памяти и процессором Intel Xeon E5 с 8 ядрами. Фиджи имеет хорошую архитектуру программного обеспечения для обработки больших наборов данных; Поэтому рекомендуется использовать ноутбук с хорошей аппаратной производительностью, такой как MacBook Pro с процессором Intel i7 с 2,5 ГГц и 16 ГБ оперативной памяти. программное обеспечение ilastik является более требовательным с точки зрения аппаратных ресурсов, в частности, на этапе предварительной обработки. Хотя downsampling стек изображения является хорошим трюком, чтобы ограничить аппаратные запросы от программного обеспечения и позволяет пользователю обрабатывать стек с ноутбуком (как правило, если он ниже 500 пикселей в х,у,z), мы предлагаем использовать высокого класса компьютер для запуска этого программного обеспечения гладко. Мы используем рабочую станцию, оснащенную процессором Intel Xeon Gold 6150 с 16 ядрами и 500 ГБ оперативной памяти.
При точной 3D-реконструкции ученые могут отказаться от оригинальных микрографов и работать непосредственно на 3D-моделях для извлечения полезных морфометрических данных для сравнения клеток одного и того же типа, а также различных типов клеток и использования VR для качественные и количественные оценки морфологии. В частности, использование последнего оказалось полезным в случае анализа плотных или сложных морфологий, которые представляют собой визуальные окклюзии (т.е. блокировка зрения объекта, интересуемого в 3D пространстве, второго, размещенного между наблюдателем и фи rst объекта), что затрудняет их представление и анализ в 3D. В представленном примере опытный пользователь занял около 4 непоследовательных часов, чтобы наблюдать за наборами данных и считать объекты. Время, затрачиваемые на анализ VR может варьироваться, так как такие аспекты, как VR-болезнь (которая может в некоторой степени быть связана с автомобильной болезнью) могут оказывать негативное влияние на пользовательский опыт; в этом случае пользователь может предпочесть другие инструменты анализа и ограничить свое время, посвященное VR.
Наконец, все эти шаги могут быть применены к другим микроскопии и не-EM методы, которые генерируют образ стеки. EM генерирует изображения, которые, в общем, являются сложными для обработки и сегмента, по сравнению, например, с флуоресценцией микроскопии, где что-то сопоставимо с бинарной маской (сигнал против черного фона), что в принципе может быть легко оказана в 3D для дальнейшей обработки, часто нуждается в рассмотрении.
Disclosures
The authors have nothing to disclose.
Acknowledgements
Эта работа была поддержана Королевским Университетом Науки и Технологии (KAUST) Конкурсные исследовательские гранты (CRG) Грант “KAUST-BBP Альянс для интегративного моделирования метаболизма энергии мозга” в PJM.
Materials
| Fiji | Open Source | 2.0.0-rc-65/1.65b | Open Source image processing editor www.fiji.sc |
| iLastik | Open Source | 1.3.2 rc2 | Image Segmentation tool www.ilastik.org |
| Blender | Blender Foundation | 2.79 | Open Source 3D Modeling software www.blender.org |
| HTC Vive Headset | HTC | Vive / Vive Pro | Virtual Reality (VR) Head monted headset www.vive.com |
| Neuromorph | Open Source | — | Collection of Blender Addons for 3D Analysis neuromorph.epfl.ch |
| Glycogen Analysis | Open Source | — | Blender addon for analysis of Glycogen https://github.com/daniJb/glyco-analysis |
| GLAM | Open Source | — | C++ Code For generating GLAM Maps https://github.com/magus74/GLAM |
References
- Leighton, S. B. SEM images of block faces, cut by a miniature microtome within the SEM – a technical note. Scanning Electron Microscopy. , 73-76 (1981).
- Knott, G., Marchman, H., Wall, D., Lich, B. Serial section scanning electron microscopy of adult brain tissue using focused ion beam milling. Journal of Neuroscience. 28, 2959-2964 (2008).
- Denk, W., Horstmann, H. Serial block-face scanning electron microscopy to reconstruct three-dimensional tissue nanostructure. PLOS Biology. 2, e329 (2004).
- Coggan, J. S., et al. A Process for Digitizing and Simulating Biologically Realistic Oligocellular Networks Demonstrated for the Neuro-Glio-Vascular Ensemble. Frontiers in Neuroscience. 12, (2018).
- Tomassy, G. S., et al. Distinct Profiles of Myelin Distribution Along Single Axons of Pyramidal Neurons in the Neocortex. Science. 344, 319-324 (2014).
- Wanner, A. A., Genoud, C., Masudi, T., Siksou, L., Friedrich, R. W. Dense EM-based reconstruction of the interglomerular projectome in the zebrafish olfactory bulb. Nature Neuroscience. 19, 816-825 (2016).
- Kasthuri, N., et al. Saturated Reconstruction of a Volume of Neocortex. Cell. 162, 648-661 (2015).
- Calì, C., et al. The effects of aging on neuropil structure in mouse somatosensory cortex—A 3D electron microscopy analysis of layer 1. PLOS ONE. 13, e0198131 (2018).
- Calì, C., Agus, M., Gagnon, N., Hadwiger, M., Magistretti, P. J. Visual Analysis of Glycogen Derived Lactate Absorption in Dense and Sparse Surface Reconstructions of Rodent Brain Structures. , (2017).
- Calì, C., et al. Three-dimensional immersive virtual reality for studying cellular compartments in 3D models from EM preparations of neural tissues. Journal of Comparative Neurology. 524, 23-38 (2016).
- Fiala, J. C. Reconstruct: a free editor for serial section microscopy. Journal of Microscopy. 218, 52-61 (2005).
- Cardona, A., et al. TrakEM2 software for neural circuit reconstruction. PLOS ONE. 7, e38011 (2012).
- Januszewski, M., et al. High-precision automated reconstruction of neurons with flood-filling networks. Nature Methods. 1, (2018).
- Shahbazi, A., et al. Flexible Learning-Free Segmentation and Reconstruction of Neural Volumes. Scientific Reports. 8, 14247 (2018).
- Sommer, C., Straehle, C., Köthe, U., Hamprecht, F. A. Ilastik: Interactive learning and segmentation toolkit. , (2011).
- Holst, G., Berg, S., Kare, K., Magistretti, P., Calì, C. Adding large EM stack support. , (2016).
- Beyer, J., et al. ConnectomeExplorer: query-guided visual analysis of large volumetric neuroscience data. IEEE Transactions on Visualization and Computer Graphics. 19, 2868-2877 (2013).
- Beyer, J., et al. Culling for Extreme-Scale Segmentation Volumes: A Hybrid Deterministic and Probabilistic Approach. IEEE Transactions on Visualization and Computer. , (2018).
- Jorstad, A., et al. NeuroMorph: A Toolset for the Morphometric Analysis and Visualization of 3D Models Derived from Electron Microscopy Image Stacks. Neuroinformatics. 13, 83-92 (2015).
- Jorstad, A., Blanc, J., Knott, G. NeuroMorph: A Software Toolset for 3D Analysis of Neurite Morphology and Connectivity. Frontiers in Neuroanatomy. 12, 59 (2018).
- Calì, C. Astroglial anatomy in the times of connectomics. Journal of Translational Neuroscience. 2, 31-40 (2017).
- Mohammed, H., et al. Abstractocyte: A Visual Tool for Exploring Nanoscale Astroglial Cells. IEEE Transactions on Visualization and Computer Graphics. , (2017).
- Agus, M., et al. GLAM: Glycogen-derived Lactate Absorption Map for visual analysis of dense and sparse surface reconstructions of rodent brain structures on desktop systems and virtual environments. Computers & Graphics. 74, 85-98 (2018).
- École Polytechnique Fédérale de Lausanne. . NeuroMorph Analysis and Visualization Toolset. , (2018).
- . GitHub – daniJb/glycol-analysis: Glycogen_analysis.py is a python-blender API based script that performs analysis on a reconstructed module of glycogen data Available from: https://github.com/daniJb/glyco-analysis (2018)
- . GitHub – magus74/GLAM: Glycogen Lactate Absorption Model Available from: https://github.com/magus74/GLAM (2019)
- Agus, M., et al. GLAM: Glycogen-derived Lactate Absorption Map for visual analysis of dense and sparse surface reconstructions of rodent brain structures on desktop systems and virtual environments. Dryad Digital Repository. , (2018).
- Calì, C., et al. Data from: The effects of aging on neuropil structure in mouse somatosensory cortex—A 3D electron microscopy analysis of layer 1. Dryad Digital Repository. , (2018).
