深層学習に基づくクライオ電子線トモグラムのセグメンテーション

注: Dragonfly 2022.1 には高性能ワークステーションが必要です。システムの推奨事項は、このプロトコルに使用されるワークステーションのハードウェアとともに 、材料表 に含まれています。このプロトコルで使用されるすべての断層撮影は、3.3〜13.2 ang/pixのピクセルサイズから4倍にビニングされます。代表的な結果に使用されたサンプルは、この機関の倫理基準に沿った動物飼育ガイドラインに従う会社( 資料表を参照)から入手しました。このプロトコルで使用されるトモグラムとトレーニング入力として生成されたマルチROIは、 補足ファイル1 (https://datadryad.org/stash/dataset/doi:10.5061/dryad.rxwdbrvct にあります)にバンドルデータセットとして含まれているため、ユーザーは必要に応じて同じデータを追跡できます。Dragonflyは、ユーザーがトレーニング済みのネットワークを共有できるInfinite Toolboxと呼ばれるオープンアクセスデータベースもホストしています。 1. セットアップ 既定のワークスペースの変更:このプロトコルで使用されているワークスペースを反映するようにワークスペースを変更するには、メインパネルの左側にあるシーンのビュープロパティセクションまで下にスクロールし、[凡例を表示]の選択を解除します。[レイアウト] セクションまで下にスクロールし、[単一シーン] ビューと [4 つの等しいビュー] ビューを選択します。 デフォルトの単位を更新するには、[ ファイル]、[環境設定。開いたウィンドウで、 デフォルトの単位 をミリメートルから ナノメートルに変更します。 便利なデフォルトのキーバインド:[Esc]を押すと、2D ビューに十字線が表示され、3D ビューで 3D ボリュームの回転が可能になります。[X]を押すと、2D ビューの十字線が非表示になり、3D ビューで 2D 移動と 3D ボリューム変換が可能になります。 十字線にカーソルを合わせると、クリックしてドラッグできる小さな矢印が表示され、他の 2D ビューの表示平面の角度を変更できます。 Z キーを押して両方のビューでズーム状態に入り、ユーザーが任意の場所をクリックしてドラッグしてズームインおよび ズーム アウトできるようにします。 4 ビュー シーンのビューをダブルクリックして、その ビュー のみにフォーカスします。もう一度ダブルクリックすると、4 つのビューすべてに戻ります。 [ プロパティ ] タブのすべてを ORS オブジェクトとしてエクスポートして、進行状況を定期的に保存し、簡単にインポートできるようにします。リスト内のすべてのオブジェクトを選択し、[ エクスポート] |ORS オブジェクトとして。ファイルに名前を付けて保存します。または、[ ファイル|セッションの保存。ソフトウェアで自動保存機能を使用するには、[ ファイル]|環境設定 |自動保存。 2.画像のインポート 画像をインポートするには、[ファイル] |画像ファイルをインポートします。[追加] をクリックし、イメージ ファイルに移動して、[開く] |次へ |終了。注: ソフトウェアは .rec ファイルを認識しません。すべての断層撮影には.mrc接尾辞が必要です。提供されたデータを使用する場合は、代わりに [ファイル]|オブジェクトをインポートします。 トレーニング.ORSObject ファイル に移動して [開く] をクリックし、[ OK] をクリックします。 3. 前処理(図1.1) カスタム強度スケールを作成します(データセット間で画像強度を調整するために使用されます)。ユーティリティに移動 |ディメンション単位マネージャー。 左下の [+ ] をクリックして、新しい 寸法単位を作成します。 対象のすべての断層画像に含まれる高輝度(明るい)および低強度(暗い)の特徴を選択します。ユニットに名前と略語を付けます(たとえば、このスケールでは、基準ビーズを0.0標準強度に設定し、背景を100.0に設定します)。カスタム寸法単位を保存します。注意: カスタム強度スケールは、異なる時間または異なる機器で収集されたにもかかわらず、すべてのデータが同じ強度スケールにあることを保証するために作成およびデータに適用される任意のスケールです。信号が収まる範囲を最もよく表す明るい特徴と暗い特徴を選択してください。データに基準がない場合は、セグメント化される最も暗い特徴量(たとえば、タンパク質の最も暗い領域)を選択するだけです。 画像をカスタム強度スケールに調整するには、画面の右側にある [プロパティ] 列でデータセットを右クリックし、[強度スケールの調整] を選択します。画面の左側にある [メイン] タブで、[プローブ] セクションまで下にスクロールします。適切な直径の円形プローブツールを使用して、トモグラムの背景領域のいくつかの場所をクリックし、平均数を[生の強度]列に記録します。基準マーカーに対して繰り返し、[キャリブレーション]をクリックします。必要に応じて、コントラストを調整して、[メイン]タブの[ウィンドウレベリング]セクションにある[領域]ツールを使用して構造を再び表示します。 画像フィルタリング:注意: 画像フィルタリングは、ノイズを低減し、信号をブーストすることができます。このプロトコルは、このデータに最適に機能するため、ソフトウェアに組み込まれている3つのフィルターを使用しますが、使用可能なフィルターは多数あります。目的のデータの画像フィルタリングプロトコルに落ち着いたら、セグメンテーションの前にすべての断層撮影に まったく同じプロトコル を適用する必要があります。左側の メイン タブで、[ 画像処理パネル]まで下にスクロールします。[ 詳細設定 ]をクリックして、新しいウィンドウが開くのを待ちます。[ プロパティ ] パネルで、フィルター処理するデータセットを選択し、データセットの左側にある 目の アイコンをクリックして表示します。 [操作]パネルから、ドロップダウンメニューを使用して、最初の 操作 の [ヒストグラムイコライゼーション ]( [コントラスト ]セクションの下)を選択します。[ 操作の追加] を選択します。 |ガウス分布 ( スムージング セクションの下)。 カーネル ディメンション を 3D に変更します。 3 番目の操作を追加します。次に、[ シャープ解除 ]( [シャープ] セクションの下)を選択します。出力はこれのままにしておきます。すべてのスライスに適用し、フィルタリングを実行してから、 画像処理 ウィンドウを閉じてメインインターフェイスに戻ります。 4. トレーニングデータの作成(図1.2) トレーニング領域を特定するには、まず [データ プロパティ] パネルの左側にある目のアイコンをクリックして、フィルター処理されていないデータセットを非表示にします。次に、新しくフィルター処理されたデータセットを表示します (データセット-ヒストEq-ガウス-アンシャープという名前が自動的に付けられます)。フィルタリングされたデータセットを使用して、関心のあるすべての特徴を含むトモグラムのサブ領域を特定します。 関心領域の周囲にボックスを作成するには、左側の メイン タブで、[ 形状 ]カテゴリまで下にスクロールし、[ ボックスの作成]を選択します。 4 つのビュー パネルで、異なる 2D 平面 を使用してボックスの端をガイド/ドラッグし、すべての寸法で関心領域のみを囲みます。 データ リストで [ボックス ] 領域を選択し、目のシンボルの横にある 灰色の四角形 をクリックして、見やすくするために境界線の色を変更します。注: 2D U-Net の最小パッチ サイズは 32 x 32 ピクセルです。400 x 400 x 50 ピクセルは、開始するのに妥当なボックス サイズです。 マルチROIを作成するには、左側で [セグメンテーション ]タブを選択します 。[新規 ] をクリックし 、[マルチ ROI として作成] をオンにします。クラスの数が、対象のフィーチャの数 + バックグラウンド クラスに対応していることを確認します。マルチROI トレーニングデータ に名前を付け、ジオメトリがデータセットに対応していることを確認してから、[ OK]をクリックします。 トレーニングデータのセグメント化ボックス化された領域の境界内になるまでデータをスクロールします。右側のプロパティメニューでマルチROIを選択します。マルチROIの最初の空白のクラス名をダブルクリックして名前を付けます。 2Dブラシでペイントします。左側の セグメンテーション タブで、[ 2Dツール ]まで下にスクロールし、 円形のブラシを選択します。次に、ドロップダウンメニューから[ アダプティブガウス ]または [ローカルOTSU ]を選択します。ペイントするには、 左Ctrl キーを押しながらクリックします。消去するには、 左シフトを押し たままクリックします。注:ブラシには、現在選択されているクラスの色が反映されます。 マルチROIの各オブジェクトクラスについて、前の手順を繰り返します。ボックス化された領域内のすべての構造が完全にセグメント化されているか、ネットワークによってバックグラウンドと見なされることを確認します。 すべての構造物にラベルを付けたら、マルチROIのバックグラウンドクラスを右クリックし、[ラベル付けされていないすべてのボクセルをクラスに追加]を選択します。 マスクという名前の新しい単一クラスのROIを作成します。ジオメトリがフィルター処理されたデータセットに設定されていることを確認し、[適用] をクリックします。右側のプロパティタブで、ボックスを右クリックし、[ROIに追加]を選択します。マスクROIに追加します。 マスクを使用してトレーニング データをトリミングするには、[プロパティ] タブで、Ctrl キーを押しながら [トレーニング データのマルチ ROI] と [マスク ROI] の両方を選択します。次に、[ブール演算] セクションのデータ プロパティ リストの下にある [交差] をクリックします。新しいデータセットに [トリミングされたトレーニング入力] という名前を付け、ジオメトリがフィルター処理されたデータセットに対応していることを確認してから、[OK] をクリックします。 5.反復トレーニングのためのセグメンテーションウィザードの使用(図1.3) トレーニング データをセグメンテーション ウィザードにインポートするには、まず [ プロパティ ] タブでフィルター処理されたデータセットを右クリックし、[ セグメンテーション ウィザード ] オプションを選択します。新しいウィンドウが開いたら、右側の 入力 タブを探します。 マルチROIからフレームをインポート をクリックし、 トリミングされたトレーニング入力を選択します。 (オプション)視覚的なフィードバックフレームを作成して、トレーニングの進捗状況をリアルタイムで監視します。セグメント化されていないフレームをデータから選択し、[ + ] をクリックして新しいフレームとして追加します。フレームの右側にある 混合 ラベルをダブルクリックし、[ 監視] に変更します。 新しいニューラル ネットワーク モデルを生成するには、[モデル] タブの右側にある [+] ボタンをクリックして新しいモデルを生成します。リストから [U-Net] を選択し、[入力ディメンション] で [2.5D スライス] と [5 スライス] を選択し、[生成] をクリックします。 ネットワークをトレーニングするには、SegWiz ウィンドウの右下にある [トレーニング] をクリックします。注:トレーニングは、進行状況を失うことなく早期に停止できます。 トレーニング済みネットワークを使用して新しいフレームをセグメント化するには、U-Net トレーニングが完了したら、新しいフレームを作成し、[ 予測(Predict )] (右下) をクリックします。次に、予測フレームの右上にある上矢印をクリックして、セグメンテーションを実際のフレームに転送します。 予測を修正するには、 Ctrl キーを押しながら 2 つのクラスをクリックして 、一方のセグメント化されたピクセルを他方に変更します。両方のクラスを選択し、 ブラシ でペイントして、いずれかのクラスに属するピクセルのみをペイントします。少なくとも 5 つの新しいフレームのセグメンテーションを修正します。注:両方のクラスが選択されているときにブラシツールでペイントすると、通常のようにShiftキーを押しながらクリックで消去する代わりに、最初のクラスのピクセルが2番目のクラスのピクセルに変換されます。Ctrl キーを押しながらクリックすると、その逆が実行されます。 反復トレーニングの場合は、[ トレーニング(Training )] ボタンをもう一度クリックし、ネットワークがさらに 30 から 40 エポックまでトレーニングできるようにし、その時点でトレーニングを停止し、ステップ 4.5 と 4.6 を繰り返してトレーニングの別のラウンドを行います。注: このようにして、1 つのデータセットを使用してモデルを反復的にトレーニングおよび改善できます。 ネットワークを公開するには、パフォーマンスに満足したら、セグメンテーション ウィザードを終了します。公開(保存)するモデルを自動的に尋ねるダイアログボックスで、成功したネットワークを選択して名前を付け、公開して、セグメンテーションウィザードの外部でネットワークを使用できるようにします。 6.ネットワークを適用します(図1.4) 最初にトレーニング トモグラムに適用するには、[ プロパティ ] パネルでフィルター処理されたデータセットを選択します。左側の [セグメント化 ] パネルで、[ AI を使用したセグメント] セクションまで下にスクロールします。正しいデータセットが選択されていることを確認し、ドロップダウンメニューで公開したばかりのモデルを選択して、[ セグメント |すべてのスライス。または、[ プレビュー ] を選択して、セグメンテーションの 1 スライス プレビューを表示します。 推論データセットに適用するには、新しいトモグラムをインポートします。ステップ3(図1.1)に従って前処理します。 [セグメンテーション ] パネルで、[ AI を使用したセグメント ] セクションに移動します。新しくフィルタリングされたトモグラムが選択されたデータセットであることを確認し、以前にトレーニングしたモデルを選択して、[ Segment] |すべてのスライス。 7.セグメンテーションの操作とクリーンアップ 最初に、ノイズと目的のフィーチャをセグメント化したクラスの 1 つを選択して、ノイズをすばやくクリーンアップします。 右クリック |プロセス島 |ボクセル数で削除 |ボクセル サイズを選択します。小さく(~200)始めて、徐々にカウントを増やしてほとんどのノイズを取り除きます。 セグメンテーション補正を行うには、Ctrl キーを押しながら 2 つのクラスをクリックして、それらのクラスに属するピクセルのみをペイントします。セグメンテーションツールでCtrlキーを押しながらクリック+ドラッグすると、2番目のクラスのピクセルが最初のクラスに変更され、Shiftキーを押しながら+ドラッグしてその逆になります。これを続けて、誤ってラベル付けされたピクセルをすばやく修正します。 接続されたコンポーネントを分離します。クラスを選択してください。マルチROIでクラスを右クリック |[接続されたコンポーネントを分離 ]: 同じクラスの別のコンポーネントに接続されていないコンポーネントごとに新しいクラスを作成します。 Multi-ROIの下にあるボタンを使用すると、クラスを簡単にマージできます。 ROIをバイナリ/TIFFとしてエクスポートします。マルチROIでクラスを選択し、右クリックしてROIとしてクラスを抽出します。上のプロパティパネルで、新しいROIを選択し、右クリック|エクスポート |バイナリとしてのROI(すべての画像を1つのファイルにエクスポートするオプションが選択されていることを確認します)。注:ユーザーは、IMODプログラムtif2mrc20を使用して、tiffからmrc形式に簡単に変換できます。これは、フィラメントトレースに役立ちます。 8. ROIからのサブトモグラム平均化のための座標の生成 クラスを抽出します。平均化に使用するクラスを右クリック |クラスをROIとして抽出します。クラスROIを右クリック |接続されたコンポーネント |新しいマルチROI(26が接続されています)。 座標を生成します。新しいマルチROI |スカラージェネレータ。データセットを使用した基本計測値の展開 | [重み付き重心 X、Y、Z ] をオンにします。データセットを選択して計算します。右クリック マルチROI |スカラー値をエクスポートします。[すべてのスカラー スロットを選択]、[OK] の順にオンにして、マルチ ROI の各クラスの重心ワールド座標を CSV ファイルとして生成します。注: パーティクル同士が接近していて、セグメンテーションが接触している場合は、分水界変換を実行してコンポーネントをマルチ ROI に分離する必要があります。 9. 分水界変換 マルチROIでクラスを右クリックしてクラスを抽出し、平均化に使用する |クラスをROIとして抽出します。この ROI 流域マスクという名前を付けます。 (オプション) 穴を閉じます。セグメント化されたパーティクルに穴や開口部がある場合は、集水域のためにこれらを閉じます。[データ プロパティ] で ROI をクリックします。[セグメンテーション]タブ(左側)で、[形態学的操作]に移動し、必要な拡張、侵食、および閉じるの組み合わせを使用して、穴のないソリッドセグメンテーションを実現します。 ROIをクリックしてROIを反転する |選択したオブジェクトをコピー します( [データ プロパティ] の下)。コピーした ROIを選択し、左側の [セグメンテーション ]タブで[ 反転]をクリックします。 逆 ROI を右クリックして距離マップを作成する |マッピングの作成 |距離マップ。後で使用するために、距離マップのコピーを作成して反転します(右クリック|修正と変換 |値の反転 |適用する)。この反転マップに 「ランドスケープ」という名前を付けます。 シード ポイントを作成します。ROIを非表示にして、 距離マップを表示します。 [セグメンテーション ] タブで、[範囲の定義] をクリックし、各ポイントの中心にある数ピクセルのみが強調表示され、別のポイントに接続されなくなるまで 範囲 を縮小します。[ 範囲 ] セクションの下部にある [ 新規に追加] をクリックします。この新しい ROI シードポイントという名前を付けます。 流域変換を実行します。シードポイントROIを右クリック |接続されたコンポーネント |新しいマルチROI(26が接続されています)。新しく生成されたマルチROI |分水嶺変換。[横] という名前の距離マップを選択し、[OK] をクリックします。[Watershed Mask]という名前の ROI を選択し、[OK]をクリックして、各シード ポイントから分水界変換を計算し、個々のパーティクルをマルチ ROI の個別のクラスに分割します。手順 8.2 のように座標を生成します。 図1:ワークフロー。 1) 強度スケールをキャリブレーションし、データセットをフィルタリングすることにより、トレーニング断層撮影を前処理します。 2) トモグラムのごく一部を、ユーザーが識別したいすべての適切なラベルで手作業でセグメント化することにより、トレーニングデータを作成します。 3) フィルタリングされたトモグラムを入力として使用し、ハンドセグメンテーションをトレーニング出力として使用して、セグメンテーションウィザードで5層のマルチスライスU-Netをトレーニングします。 4) 訓練されたネットワークをフルトモグラムに適用して注釈を付け、セグメント化された各クラスから3Dレンダリングを生成できます。 この図の拡大版を表示するには、ここをクリックしてください。