이것은 하나의 단층 촬영의 일부를 훈련 입력으로 사용하여 극저온 전자 단층 촬영의 다중 클래스 분할을 위해 다중 슬라이스 U-Net을 훈련하는 방법입니다. 이 신경망을 다른 단층그램과 유추하는 방법과 서브토모그램 평균화 및 필라멘트 추적과 같은 추가 분석을 위해 분할을 추출하는 방법을 설명합니다.
극저온 전자 단층 촬영(Cryo-ET)을 통해 연구자들은 현재 가능한 가장 높은 해상도로 원래의 수화 상태의 세포를 이미지화할 수 있습니다. 그러나 이 기술에는 생성되는 데이터를 분석하는 데 시간이 많이 걸리고 어렵게 만드는 몇 가지 제한 사항이 있습니다. 단일 단층 촬영을 손으로 분할하는 데는 몇 시간에서 며칠이 걸릴 수 있지만 현미경은 하루에 50개 이상의 단층 촬영을 쉽게 생성할 수 있습니다. Cryo-ET를 위한 현재 딥러닝 분할 프로그램이 존재하지만 한 번에 하나의 구조를 분할하는 것으로 제한됩니다. 여기에서 다중 슬라이스 U-Net 컨볼루션 신경망은 극저온 단층 촬영 내에서 여러 구조를 동시에 자동으로 분할하도록 훈련되고 적용됩니다. 적절한 전처리를 통해 이러한 신경망은 각 단층 촬영에 대해 개별 신경망을 훈련시킬 필요 없이 많은 단층 촬영술에 대해 강력하게 추론할 수 있습니다. 이 워크플로우는 대부분의 경우 분할 시간을 30분 미만으로 단축하여 초저온 전자 단층 촬영을 분석할 수 있는 속도를 획기적으로 향상시킵니다. 또한, 분할은 세포 컨텍스트 내에서 필라멘트 추적의 정확도를 개선하고 서브토모그램 평균화를 위한 좌표를 신속하게 추출하는 데 사용할 수 있습니다.
지난 10년 동안 하드웨어 및 소프트웨어 개발로 인해 초저온 전자 현미경(Cryo-EM)의 “분해능 혁명”이 일어났습니다1,2. 더 빠르고 더 나은 검출기3, 데이터 수집을 자동화하는 소프트웨어4,5 및 위상판6과 같은 신호 부스팅 기술을 통해 대량의 고분해능 Cryo-EM 데이터를 수집하는 것은 비교적 간단합니다.
Cryo-ET는 천연의 수화 상태 7,8,9,10에서 세포 미세구조에 대한 전례 없는 통찰력을 제공합니다. 주요 한계는 시료 두께이지만, 단층 촬영을 위해 두꺼운 세포 및 조직 시료를 얇게 만드는 집속 이온 빔(FIB) 밀링과 같은 방법을 채택함에 따라 cryo-ET로 이미지화할 수 있는 것의 지평이 지속적으로 확장되고 있습니다. 최신 현미경은 하루에 50개 이상의 단층 사진을 생산할 수 있으며, 이 속도는 신속한 데이터 수집 계획의 개발로 인해 증가할 것으로 예상됩니다12,13. cryo-ET에 의해 생성된 방대한 양의 데이터를 분석하는 것은 이 이미징 방식에서 여전히 병목 현상으로 남아 있습니다.
단층 촬영 정보의 정량적 분석에는 먼저 주석을 달아야 합니다. 전통적으로 이를 위해서는 전문가의 손 세분화가 필요하며 이는 시간이 많이 걸립니다. 극저온 단층 촬영에 포함된 분자 복잡성에 따라 몇 시간에서 며칠까지 주의를 기울여야 할 수 있습니다. 인공 신경망은 짧은 시간 내에 대부분의 분할 작업을 수행하도록 훈련될 수 있기 때문에 이 문제에 대한 매력적인 솔루션입니다. 컨볼루션 신경망(CNN)은 특히 컴퓨터 비전 작업(computer vision task)14에 적합하며, 최근에는 초저온 전자 단층 촬영(15,16,17)의 분석에 적합하다.
기존 CNN에는 수천 개의 주석이 달린 훈련 샘플이 필요하며, 이는 생물학적 이미지 분석 작업에서는 종종 불가능합니다. 따라서, U-Net 아키텍처는 네트워크를 성공적으로 훈련시키기 위해 데이터 증강에 의존하고, 대규모 훈련 세트에 대한 의존성을 최소화하기 때문에 이 공간(18 )에서 탁월하다. 예를 들어, U-Net 아키텍처는 단일 단층 촬영(4개 또는 5개 조각)의 몇 조각만으로 학습할 수 있으며 재학습 없이 다른 단층 촬영에 강력하게 추론할 수 있습니다. 이 프로토콜은 Dragonfly 2022.119 내에서 전자 극저온 단층촬영을 분할하기 위해 U-Net 신경망 아키텍처를 훈련하기 위한 단계별 가이드를 제공합니다.
Dragonfly는 딥 러닝 모델에 의한 3D 이미지 분할 및 분석에 사용되는 상업적으로 개발 된 소프트웨어이며 학술용으로 자유롭게 사용할 수 있습니다 (일부 지리적 제한 적용). 비전문가도 의미론적 분할과 이미지 노이즈 제거를 위한 딥 러닝의 힘을 최대한 활용할 수 있도록 하는 고급 그래픽 인터페이스가 있습니다. 이 프로토콜은 인공 신경망을 훈련하기 위해 Dragonfly 내에서 초저온 전자 단층 촬영을 전처리하고 주석을 추가하는 방법을 보여주며, 이를 추론하여 대규모 데이터 세트를 빠르게 분할할 수 있습니다. 또한 필라멘트 추적 및 하위 단층 구조 평균화를 위한 좌표 추출과 같은 추가 분석을 위해 분할된 데이터를 사용하는 방법을 설명하고 간략하게 보여줍니다.
이 프로토콜은 Dragonfly 2022.1 소프트웨어를 사용하여 단일 단층 촬영에서 다중 클래스 U-Net을 훈련시키는 절차와 해당 네트워크를 동일한 데이터 세트에서 가져올 필요가 없는 다른 단층 촬영으로 추론하는 방법을 설명합니다. 훈련은 비교적 빠르며(훈련 중인 신경망과 사용되는 하드웨어에 따라 Epoch당 3-5분 정도 빠르거나 몇 시간 정도 느릴 수 있음) 신경망을 재훈련시켜 학습을 개선하는 것은 직관적입니다. 모든 단층 촬영에 대해 전처리 단계가 수행되는 한, 추론은 일반적으로 강력합니다.
일관된 전처리는 딥 러닝 추론을 위한 가장 중요한 단계입니다. 소프트웨어에는 많은 이미징 필터가 있으며 사용자는 특정 데이터 세트에 가장 적합한 필터를 결정하기 위해 실험할 수 있습니다. 학습 단층 촬영에 사용되는 필터링은 추론 단층 촬영과 동일한 방식으로 적용되어야 합니다. 또한 네트워크에 정확하고 충분한 훈련 정보를 제공하기 위해 주의를 기울여야 합니다. 학습 슬라이스 내에서 분할된 모든 기능은 가능한 한 신중하고 정확하게 분할되어야 합니다.
이미지 분할은 정교한 상용 등급 사용자 인터페이스를 통해 촉진됩니다. 손 분할에 필요한 모든 도구를 제공하며 교육 및 재교육 전에 한 클래스에서 다른 클래스로 복셀을 간단하게 재할당할 수 있습니다. 사용자는 단층 촬영의 전체 컨텍스트 내에서 복셀을 손으로 분할할 수 있으며 여러 보기와 볼륨을 자유롭게 회전할 수 있는 기능이 제공됩니다. 또한 이 소프트웨어는 다중 클래스 네트워크를 사용할 수 있는 기능을 제공하는데, 이는16 더 나은 성능을 발휘하는 경향이 있으며 여러 개의 단일 클래스 네트워크로 분할하는 것보다 빠릅니다.
물론 신경망의 기능에는 한계가 있습니다. Cryo-ET 데이터는 본질적으로 매우 잡음이 많고 각도 샘플링이 제한되어 동일한 물체(21)에서 방향별 왜곡을 초래합니다. 훈련은 구조를 정확하게 손으로 분할하기 위해 전문가에 의존하며, 성공적인 네트워크는 주어진 훈련 데이터만큼(또는 나쁜) 것입니다. 신호를 증폭하기 위한 이미지 필터링은 트레이너에게 도움이 되지만 주어진 구조의 모든 픽셀을 정확하게 식별하기 어려운 경우가 여전히 많습니다. 따라서 신경망이 훈련 중에 학습할 수 있는 최상의 정보를 가질 수 있도록 훈련 분할을 생성할 때 세심한 주의를 기울이는 것이 중요합니다.
이 워크플로는 각 사용자의 기본 설정에 맞게 쉽게 수정할 수 있습니다. 모든 단층 촬영이 정확히 동일한 방식으로 전처리되는 것이 필수적이지만 프로토콜에 사용된 정확한 필터를 사용할 필요는 없습니다. 이 소프트웨어에는 다양한 이미지 필터링 옵션이 있으며 많은 단층 촬영에 걸친 대규모 분할 프로젝트를 시작하기 전에 사용자의 특정 데이터에 맞게 최적화하는 것이 좋습니다. 또한 사용할 수 있는 네트워크 아키텍처도 꽤 있습니다: 다중 슬라이스 U-Net이 이 실습의 데이터에 가장 적합한 것으로 밝혀졌지만, 다른 사용자는 다른 아키텍처(예: 3D U-Net 또는 Sensor 3D)가 더 잘 작동한다는 것을 알게 될 수 있습니다. 분할 마법사는 동일한 훈련 데이터를 사용하여 여러 신경망의 성능을 비교할 수 있는 편리한 인터페이스를 제공합니다.
여기에 제시된 것과 같은 도구는 전체 단층 촬영의 수동 분할을 과거의 작업으로 만들 것입니다. 강력하게 추론할 수 있는 잘 훈련된 신경망을 사용하면 현미경이 수집할 수 있는 한 빨리 단층 촬영 데이터를 재구성, 처리 및 완전히 분할하는 워크플로를 만드는 것이 완전히 가능합니다.
The authors have nothing to disclose.
이 연구는 Penn State College of Medicine과 생화학 및 분자 생물학과, 담배 정착 기금(TSF) 보조금 4100079742-EXT의 지원을 받았습니다. 이 프로젝트에 사용된 CryoEM 및 CryoET Core(RRID:SCR_021178) 서비스 및 기기는 펜실베니아 주립대학교 의과대학이 연구 및 대학원생 부학장실과 펜실베니아 보건부에서 담배 정착 기금(CURE)을 사용하여 부분적으로 자금을 지원했습니다. 내용은 전적으로 저자의 책임이며 반드시 대학 또는 의과 대학의 공식 견해를 나타내는 것은 아닙니다. 펜실베니아 보건부는 특히 분석, 해석 또는 결론에 대한 책임을 부인합니다.
Dragonfly 2022.1 | Object Research Systems | https://www.theobjects.com/dragonfly/index.html | |
E18 Rat Dissociated Hippocampus | Transnetyx Tissue | KTSDEDHP | https://tissue.transnetyx.com/faqs |
IMOD | University of Colorado | https://bio3d.colorado.edu/imod/ | |
Intel® Xeon® Gold 6124 CPU 3.2GHz | Intel | https://www.intel.com/content/www/us/en/products/sku/120493/intel-xeon-gold-6134-processor-24-75m-cache-3-20-ghz/specifications.html | |
NVIDIA Quadro P4000 | NVIDIA | https://www.nvidia.com/content/dam/en-zz/Solutions/design-visualization/productspage/quadro/quadro-desktop/quadro-pascal-p4000-data-sheet-a4-nvidia-704358-r2-web.pdf | |
Windows 10 Enterprise 2016 | Microsoft | https://www.microsoft.com/en-us/evalcenter/evaluate-windows-10-enterprise | |
Workstation Minimum Requirements | https://theobjects.com/dragonfly/system-requirements.html |