Мультимодальная кросс-девайсная и безмаркерная корегистрация методов доклинической визуализации
Summary
Комбинация нескольких методов визуализации часто необходима для получения всестороннего понимания патофизиологии. Этот подход использует фантомы для генерации дифференциального преобразования между системами координат двух модальностей, которое затем применяется для совместной регистрации. Этот метод устраняет необходимость в реперных точках при сканировании в производстве.
Abstract
Интегрированные доклинические мультимодальные системы визуализации, такие как рентгеновская компьютерная томография (КТ) в сочетании с позитронно-эмиссионной томографией (ПЭТ) или магнитно-резонансная томография (МРТ) в сочетании с ПЭТ, широко доступны и, как правило, обеспечивают надежную совместную регистрацию объемов. Тем не менее, часто требуются отдельные устройства для объединения автономной МРТ с существующей ПЭТ-КТ или для включения дополнительных данных оптической томографии или рентгеновской микротомографии высокого разрешения. Это требует совместной регистрации изображений, которая включает в себя сложные аспекты, такие как мультимодальное проектирование ложа мыши, включение реперных маркеров, реконструкция изображений и объединение изображений на основе программного обеспечения. Реперные знаки часто создают проблемы для данных in vivo из-за проблем с динамическим диапазоном, ограничений поля зрения изображения, трудностей с размещением маркеров или потери сигнала маркера с течением времени (например, из-за высыхания или распада). Эти проблемы должны быть поняты и решены каждой исследовательской группой, требующей совместной регистрации изображений, что приводит к повторным попыткам, поскольку соответствующие детали редко описываются в существующих публикациях.
Этот протокол описывает общий рабочий процесс, который позволяет преодолеть эти проблемы. Несмотря на то, что дифференциальное преобразование изначально создается с использованием реперных знаков или визуальных структур, такие маркеры не требуются при сканировании в производстве. Подробно описаны требования к объемным данным и метаданным, генерируемым программным обеспечением для восстановления. Обсуждение охватывает достижение и проверку требований отдельно для каждой модальности. Описан фантомный подход для генерации дифференциального преобразования между системами координат двух модальностей визуализации. Этот метод демонстрирует, как совместно регистрировать производственные сканы без реперных обозначений. Каждый шаг проиллюстрирован с помощью доступного программного обеспечения, с рекомендациями по коммерчески доступным фантомам. Показана целесообразность применения этого подхода при использовании различных комбинаций методов визуализации, установленных на различных объектах.
Introduction
Различные методы доклинической визуализации имеют свои преимущества и недостатки. Например, рентгеновская компьютерная томография (КТ) хорошо подходит для исследования анатомических структур с различной плотностью радиоизлучения, таких как кости и легкие. Он широко используется благодаря высокой скорости получения, высокому трехмерному разрешению, относительной простоте оценки изображения и универсальности с контрастными веществами или без них 1,2,3. Магнитно-резонансная томография (МРТ) обеспечивает наиболее универсальное контрастирование мягких тканей без ионизирующего излучения4. С другой стороны, методы, основанные на индикаторах, такие как позитронно-эмиссионная томография (ПЭТ), однофотонная эмиссионная компьютерная томография (ОФЭКТ), флуоресцентно-опосредованная томография (ТФМ) и магнитопорошковая томография (ИМП), являются установленными инструментами для количественной оценки молекулярных процессов, метаболизма и биораспределения меченых радиоактивных диагностических или терапевтических соединений с высокой чувствительностью. Однако им не хватает разрешающей способности и анатомической информации 5,6. Таким образом, более анатомически ориентированные модальности, как правило, сочетаются с высокочувствительными, имеющими свои сильные позиции в обнаружении трассеров7. Эти комбинации делают возможным количественное определение концентраций индикаторов в пределах конкретной области интереса 8,9. Для комбинированных устройств визуализации корегистрация модальностей обычно является встроенной функцией. Тем не менее, также полезно совместно регистрировать сканирование с разных устройств, например, если устройства были приобретены отдельно или если гибридное устройство недоступно.
Эта статья посвящена кросс-модальному слиянию в визуализации мелких животных, что имеет важное значение для фундаментальных исследований и разработки лекарств. Предыдущее исследование10 указывает на то, что это может быть достигнуто с помощью распознавания признаков, контурного картографирования или реперных (реперных точек). Реперные точки — это опорные точки для точного выравнивания и корреляции изображений, полученных с помощью различных методов визуализации. В особых случаях реперными точками могут быть даже точки китайских чернил на коже обнаженных мышей11; Тем не менее, часто используется картридж для визуализации со встроенными реперными знаками. Несмотря на то, что это надежный и хорошо разработанный метод10, его использование для каждого сканирования сопряжено с практическими проблемами. Реперные точки, обнаруживаемые с помощью МРТ, часто имеют жидкую основу и имеют тенденцию к высыханию во время хранения. ПЭТ требует радиоактивных маркеров, сигнал которых распадается в соответствии с периодом полураспада излучателя, который обычно короток для биомедицинских применений, что требует подготовки незадолго до сканирования. Другие проблемы, такие как несоответствие в динамическом диапазоне сигнала от реперного маркера и исследуемого объекта, сильно влияют на визуализацию in vivo . Широкий диапазон динамического контраста требует частой адаптации мощности сигнала маркера к исследуемому объекту. Следовательно, в то время как слабый сигнал маркера может не быть обнаружен при анализе, сильный сигнал маркера может создать артефакты, ухудшающие качество изображения. Кроме того, для согласованного включения маркеров поле зрения должно быть неоправданно большим для многих применений, что потенциально может привести к более высокому радиационному воздействию, большим объемам данных, более длительному времени сканирования и, в некоторых случаях, более низкому разрешению. Это может повлиять на здоровье лабораторных животных и качество генерируемых данных.
Преобразование и дифференциальное преобразование
Набор данных изображений состоит из воксельных данных и метаданных. Каждый воксель связан со значением интенсивности (рис. 1A). Метаданные включают преобразование, определяющее размещение набора данных в системе координат устройства обработки изображений (рисунок 1B) и размер воксела, используемый для масштабирования системы координат. Дополнительная информация, такая как тип устройства или дата сканирования, может быть дополнительно сохранена в метаданных. Упомянутое преобразование математически называется преобразованием твердого тела. Преобразования твердого тела используются для изменения ориентации или положения объектов на изображении или в геометрическом пространстве с сохранением расстояния между каждой парой точек, что означает, что преобразованный объект сохраняет свой размер и форму при вращении и перемещении в пространстве. Любую последовательность таких преобразований можно описать как единое преобразование, состоящее из вращения с последующим перемещением. Формула, используемая программным обеспечением для перехода от координаты данных к метрической целевой координате, показана на рисунке 1C, где R — матрица ортонормального вращения, d и v — индексы и размеры вокселей, а t — вектор перемещения3 x 12. Вращение подробно показано на рисунке 1D.
Рисунок 1: 2D-представление структуры и размещения набора данных изображений в глобальной системе координат. (A) Набор данных изображений состоит из воксельных данных и метаданных. Преобразование, определяющее размещение и размер воксела, является важным компонентом метаданных. (B) Изображение визуализируется в систему координат устройства. Необходимое преобразование для размещения объекта состоит из поворота (синий) с последующим перемещением (зеленый). (C) Чтобы перейти от координаты данных к целевой координате, программное обеспечение использует следующую формулу, где R — матрица ортонормального вращения, d и v — индексы и размеры вокселей, а t — вектор перемещения 3 x 1. (D) Матрица вращения (синяя в плоскости А) представляет собой линейное преобразование вращающихся точек. Умножение координат точки на эту матрицу приводит к получению новых, повернутых координат. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.
Дифференциальное преобразование — это преобразование твердого тела, преобразующее координаты из одной системы координат в другую, например, из ПЭТ в рентгеновскую микротомографию (μКТ), и может быть вычислено с помощью реперных маркеров. По крайней мере три общие точки – реперные точки – выбираются в обеих системах координат. Из их координат может быть выведено математическое преобразование, которое преобразует координаты. Программное обеспечение использует метод наименьших квадратов, который обеспечивает наилучшее решение для системы уравнений с ошибками или шумом в измеряемых данных. Это называется проблемой Прокруста13 и решается с помощью сингулярного разложения. Метод надежен и устойчив, поскольку он приводит к уникальному и четко определенному решению (если задано по крайней мере три неколлинеарных маркера). Вычисляется шесть свободных параметров: три для трансляции и три для вращения. Далее мы будем использовать термин «матрица преобразований», хотя технически она состоит из матрицы вращения и вектора перемещения.
Каждое устройство обработки изображений имеет свою собственную систему координат, и программное обеспечение вычисляет дифференциальное преобразование для их выравнивания. На рисунках 2A,B описывается, как определяется дифференциальное преобразование, а на рисунках 2C,D описывается, как оно применяется. Изображения обоих модальностей могут иметь разные размеры и сохранять их в процессе, как показано на примере изображения со слиянием КТ и ПЭТ на рисунке 2E.
Рисунок 2: Дифференциальное преобразование. (A-D) Упрощенное до 2D. Хотя это применимо к другим методам, предполагается, что в данном примере модальностями являются КТ и ПЭТ. (А,В) Изображение компьютерной томографии с красным ограничивающим прямоугольником располагается в системе координат. Примененное к той же системе координат, изображение ПЭТ с желтым ограничивающим прямоугольником располагается с отклонением. (B) Используя реперные маркеры, которые могут быть расположены как в КТ, так и в ПЭТ, можно определить дифференциальное преобразование T. Это символизируется стрелкой. Сохраняется матрица дифференциального преобразования. (D) Ранее сохраненная матрица дифференциального преобразования T может быть применена к каждому изображению ПЭТ. В результате получается новое преобразование, которое заменяет исходное преобразование в метаданных. (E) Компьютерная томография, объединенная с ПЭТ-изображением. Преобразования в метаданных обоих изображений относятся к одной и той же системе координат. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.
Метод и требования
Для представленного метода фантом, содержащий маркеры, видимые в обеих модальностях, сканируется в обоих устройствах. Затем достаточно отметить эти реперные точки в предлагаемом программном обеспечении для вычисления дифференциального преобразования между двумя модальностями. Дифференциальное преобразование должно создаваться индивидуально для каждой пары устройств. Его можно сохранить и позже применить к любому новому изображению, тем самым исключив необходимость в реперных знаках при последующих сканированиях. Окончательное размещение изображения в системе координат другого устройства может быть опять-таки описано как преобразование и сохраняться в метаданных изображения, заменяя там исходное преобразование.
Для этого метода можно сформулировать четыре требования: (1) Мультимодальный фантом: фантом, содержащий маркеры, видимые в обеих модальностях, должен быть доступен. Большой выбор фантомов является коммерчески доступным, и использование 3D-печати для создания фантомов было широко описано14, включая даже использование радиоизотопов15. Фантомы, используемые в следующих примерах, перечислены в Таблице материалов. Требуется не менее трех неколлинеарных точек16. Маркерами могут быть полости, которые могут быть заполнены подходящим индикатором, небольшие объекты, изготовленные из материала, который легко обнаруживается в каждой модальности, или просто отверстия, разрезы или края в самом фантоме, если они могут быть идентифицированы в обеих модальностях. (2) Мультимодальный носитель: необходим носитель, такой как подставка для мыши, которая может быть зафиксирована в воспроизводимом положении в обоих устройствах. В идеале не должно быть возможности использовать его в обратном положении, чтобы избежать ошибок. Носитель особенно важен для визуализации in vivo, потому что он необходим для транспортировки успокоительного животного от одного устройства визуализации к другому без изменения его положения. Исходя из нашего опыта, мыши, находящиеся под действием седативных препаратов, чаще меняют свое положение на плоской мышиной кровати по сравнению с мышиной кроватью вогнутой формы. Кроме того,ранее было предложено изготовленное на 3D-принтере приспособление для удержания большеберцовой кости мыши с целью минимизации движения. (3) Самосогласованность: Каждое устройство визуализации должно обеспечивать вращение и трансляцию восстановленного объема в своей системе отсчета воспроизводимым и когерентным образом. Это также означает, что система координат для всего устройства сохраняется при сканировании только небольшой области. Это часть протокола для проверки устройства визуализации на его самосогласованность. (4) Поддержка программного обеспечения: предлагаемое программное обеспечение должно быть способно интерпретировать метаданные (размер вокселя, перевод, ориентация), сохраненные вместе с восстановленным объемом, предоставленным устройством. Том может быть в формате DICOM, NIfTI, Analyze или GFF. Обзор различных форматов файлов см. в Yamoah et al.12.
В то время как описана совместная регистрация двух модальностей, эта процедура также применима к трем или более модальностям, например, путем совместной регистрации двух модальностей в одну референтную модальность.
Protocol
Representative Results
Discussion
Представлен метод мультимодальной сорегистрации изображений, не требующий использования реперных маркеров для производственных сканирований. Фантомный подход генерирует дифференциальное преобразование между системами координат двух модальностей визуализации.
Остаточное термоядерное синтез и валидация дифференциального преобразования
После вычисления дифференциального преобразования программное обеспечение отображает остаток термоядерного синтеза в миллиметрах, представляющий среднеквадратическую ошибку19 преобразования. Если этот остаток превышает на порядок величину размера воксела, рекомендуется проверить наборы данных на предмет общих проблем. Однако, поскольку все изображения имеют небольшие искажения, остаточное значение не может стать произвольно малым; Он отражает только посадку используемых маркеров. Например, совместная регистрация с тремя маркерами может привести к меньшему остатку на одних и тех же наборах данных, чем преобразование с четырьмя хорошо распределенными маркерами. Это происходит потому, что сами маркеры могут быть переобучены при использовании меньшего количества реперных инструментов. Точность по всему набору данных повышается с увеличением количества маркеров.
Количественная точность метода зависит от конкретной пары используемых устройств. Рассчитанное дифференциальное преобразование между системами координат двух устройств может быть проверено следующим образом: Придерживаясь шага 4 протокола, но снова используя фантом с реперными знаками в качестве «образца». Размещение фантома в любом положении, чтобы убедиться, что он отличается от того, которое использовалось для оценки дифференциального преобразования. Также можно использовать другой фантом, подходящий для соответствующих модальностей, если он доступен. Затем применяем дифференциальное преобразование, определенное ранее (шаг 4.2.5), чтобы выровнять две модальности. Затем размещаем маркеры на изображениях из обеих модальностей в соответствии с шагом 3.2 протокола. Чтобы рассчитать остаточную величину слияния для этих маркеров, нажмите на меню «Слияние » > «Наложение регистров на подложку » > «Отображение оценки остаточного заряда».
Остаточная погрешность описывает среднее смещение сигнала и должна быть в порядке размера воксела. Пороговые значения приемлемости бетона зависят от области применения и могут зависеть от нескольких факторов, таких как жесткость и точность систем визуализации, но также могут зависеть от артефактов реконструкции изображений.
Устранение неполадок с самосогласованностью
Часто трудности с самосогласованностью возникают из-за ненадежного размещения. Распространенной ошибкой является размещение носителя в поперечном перевернутом положении. В идеале он должен быть механически введен в устройство визуализации только в одном направлении. Если это невозможно, следует добавить понятную для пользователя маркировку. Еще одной частой проблемой является возможность смещения по продольной оси, что делает осевое позиционирование ненадежным. Рекомендуется использовать распорку, которую можно прикрепить с одного конца, чтобы закрепить лежанку для мыши на месте. Нестандартные распорки, например, можно быстро и легко создать с помощью 3D-печати. Однако некоторые устройства не могут обеспечить самосогласованность при различных полях зрения. В таких случаях рекомендуется связаться с поставщиком, который должен подтвердить несовместимость и, возможно, устранить ее в будущем обновлении. В остальном метод остается надежным, если для всех сканирований, включая калибровку и производственную визуализацию, поддерживается одинаковое поле зрения.
Для некоторых производственных сканов с неправильным размещением возможно преобразование в откалиброванное положение, если различима достаточная несущая структура. Для визуализации in vivo животное под действием седативных препаратов должно оставаться в одном носителе, и создание одного носителя, который надежно помещается в оба устройства, не всегда достижимо. Часто для метода, основанного на индикаторах, используется мышиная кровать, а затем импровизированное размещение в компьютерном томографе. Например, на рисунке 5A мышиная кровать MPI была размещена поверх ложа для КТ-мыши из-за механических ограничений. Осевой уклон и возможность качения делают такое позиционирование ненадежным. В таких случаях рекомендуется спроектировать адаптер, который заменяет нижнее ложе мыши и обеспечивает блокирующую посадку. Он может, например, использовать цапфы, прикрепленные к нижней части и дополнительные отверстия в нижней части верхней мышиной кровати.
Тем не менее, ретроспективная коррекция для существующих изображений возможна, так как ложе мыши обнаруживается на КТ-изображении. Протокол требует калибровочного сканирования с последующим расчетом дифференциального преобразования наложения в подложку. Процедура аналогична, но также должна сопоставлять каждый отдельный производственный компьютерный томограф с калибровочным сканированием, используя структуры мышиного ложа в качестве реперных точек.
Рисунок 5: Поиск и устранение неполадок при размещении. (A) Ложе для мыши MPI размещается поверх подставки для мыши CT. Следовательно, положение на КТ не может быть достоверно воспроизведено. Самосогласованность может быть достигнута путем объединения каждого КТ-изображения с эталонным КТ-изображением, используемым для оценки дифференциального преобразования. (Б-Г) Упрощено до 2D. (B) Каждое производственное изображение компьютерной томографии загружается в виде наложения и регистрируется на эталонном изображении компьютерной томографии (подложке) с использованием структур мышиного ложа, видимых на компьютерной томографии. Скорректированное производственное КТ-изображение теперь согласуется с референсной КТ и может быть использовано с дифференциальным преобразованием T. (C) Наложение MPI регистрируется на референсное изображение КТ с использованием реперных маркеров фантома. (D) Собираются мультимодальные изображения. Для этого каждое изображение КТ сопоставляется с исходным положением с его индивидуальным дифференциальным преобразованием. Впоследствии наложение MPI также регистрируется в опорном положении с помощью дифференциального преобразования, которое справедливо для всех изображений устройства. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.
Чтобы сопоставить производственные компьютерные томографы с калибровочным сканированием, обратитесь к разделу 3 протокола, включающему следующие изменения. Для ясности описание продолжится на примере подложки КТ и наложения MPI: На шаге 3.1 загрузите калибровочный скан КТ (изображение А) в качестве подложки и корректируемый КТ-скан в качестве наложения. Используйте структуры ложа мыши MPI либо в качестве маркеров для шага 3.2, либо в качестве визуальных ориентиров для шага 3.3. Пропустите шаг 3.4, но сохраните наложение, представляющее собой скорректированный объем CT (Файл меню > Наложение > Сохранение наложения как). В открывшемся диалоговом окне введите новое имя и нажмите кнопку «Сохранить». Закройте наложение, перейдя в раздел Файл меню > Наложение > Закрытие наложения. Загрузите следующий компьютерный томограф, требующий коррекции, в качестве наложения и возобновите процедуру с шага 3.2 протокола. Концепция, лежащая в основе этого шага, проиллюстрирована на рисунке 5B.
Мышиное ложе теперь практически идентично калибровочному сканированию во всех недавно сохраненных объемах компьютерной томографии. В рамках стандартной процедуры калибровочное сканирование регистрируется на изображениях MPI с использованием дифференциального преобразования T (рис. 5C). Чтобы впоследствии объединить изображение КТ с MPI, всегда используйте скорректированный объем КТ (Рисунок 5D).
Устранение неполадок с перевернутыми изображениями и масштабированием
Представленный здесь метод регистрации предполагает достаточно точное качество изображения и регулирует только вращение и перемещение. Он не корректирует перевернутые изображения или неправильное масштабирование. Однако эти две проблемы можно решить вручную до вычисления дифференциального преобразования.
Несоответствия между форматами данных разных производителей могут привести к тому, что некоторые наборы данных, особенно в формате DICOM, будут отображаться в программном обеспечении как зеркально инвертированные. Поскольку фантомы и лежанки для мышей часто симметричны, эта проблема может быть не сразу очевидна. Обнаружение перевернутых изображений облегчается, когда сканирование содержит узнаваемые надписи в соответствующей модальности, такие как выпуклая надпись в правильной ориентации, видимой на фантоме на рисунке 3H. В примере, показанном на рисунке 6, данные КТ загружаются в качестве подложки, а данные MPI загружаются в качестве наложения. Это сканирование in vivo мыши, помещенной в мышиную кровать MPI с прикрепленными реперными маркерами. Мышиная ложе MPI расположена на верхней части мышиной ложа для μCT (рис. 6A). При соблюдении протокола и маркировке реперных точек как в подложке, так и в наложении в постоянном направлении вращения, получается явно несочетаемый результат (Рисунок 6B). Однако при ближайшем рассмотрении можно выявить проблему. Реперные точки образуют асимметричный треугольник. Наблюдая за сторонами треугольника в осевом виде (рис. 6C, D) от самой короткой до середины и самой длинной, вращение по часовой стрелке очевидно в данных КТ, в то время как вращение против часовой стрелки очевидно в данных MPI. Это демонстрирует, что одно из изображений инвертировано в сторону. В этом случае мы предполагаем, что данные КТ точны. Чтобы исправить наложение MPI, изображение переворачивается: для этого переключите выбранный слой на наложение и нажмите на Меню Редактирование > Отразить > Отразить X. Дифференциальное преобразование, рассчитанное программным обеспечением, охватывает все необходимые вращения, поэтому «Flip X» достаточно, даже если изображение кажется перевернутым в другом направлении.
Рисунок 6: Устранение неполадок при преобразовании. Данные КТ загружаются в виде подложки с размером вокселя 0,240 мм, а данные MPI в виде наложения с размером вокселя 0,249 мм. Ложе для мыши содержит реперные знаки. (A) 3D-вид неисправленного наложенного изображения. Реперные точки в подложке CT обозначены стрелками. Реперные точки в наложении MPI отображаются как сферы в таблице цветов NIH. (B) Несовпадающий результат преобразования, выполненного без соответствующих поправок. Остаток сплавления = 6,94 мм. (C) Измерение расстояний между реперными точками в CT. Вращение по часовой стрелке от самого короткого к самому длинному расстоянию. (D) Измерение расстояний между реперными точками в MPI. Вращение против часовой стрелки от самого короткого к самому длинному расстоянию. Сравнение с измерениями КТ дает коэффициент масштабирования 0,928774. (E) Исправлено наложение после перелистывания и масштабирования. (F) Преобразование с сопоставлением результатов в 3D виде. (G) Преобразование с согласованием результатов в осевом виде. Остаточное сплавление = 0,528 мм. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
Наборы данных с неправильными размерами вокселов также можно исправить вручную. Так как габариты фантома должны быть известны, это можно проверить на изображении. Самый простой метод – использование ребра известной длины. Нажмите [Ctrl + правая кнопка мыши] на одном конце края и, удерживая кнопку нажатой, переместите указатель мыши на другой конец края и отпустите кнопку. В последующем диалоговом окне программное обеспечение отображает длину измеренного расстояния на изображении. В примере, проиллюстрированном на рисунке 6, очевидно, что размеры не совпадают при сравнении расстояний между реперными знаками в обеих модальностях (рисунок 6C, D). Опять же, данные КТ считаются точными. Чтобы изменить масштабирование, вычисляется коэффициент масштабирования (SF). Поскольку отношение длин (CT/MPI) не является точно идентичным для каждой стороны треугольника, вычисляется среднее частное: SF = ((l1CT/l1MPI) + (l2CT/l2MPI) + (l2CT/l2MPI)) / 3.
Затем отрегулируйте размер воксела наложения, умножив каждое измерение на SF. Чтобы добиться этого, переключите выбранный слой на перекрытие и откройте меню Редактирование > Изменить размеры вокселей (Change Voxel Sizes). Вычислите каждое измерение, введите значение и нажмите кнопку ОК. Результат обеих коррекций показан на рисунке 6E. После этого оверлей регистрируется на подложке в соответствии с протоколом. Полученное выравнивание показано на рисунке 6F,G. Хотя это обеспечивает быстрое решение для коррекции существующего сканирования, мы рекомендуем откалибровать устройство обработки изображений для промышленного использования.
Ограничения
Этот метод ограничен пространственной сорегистрацией существующих объемных данных, составленных из кубических вокселей. Он не включает в себя процесс реконструкции, который вычисляет объем на основе необработанных данных, сгенерированных устройством визуализации (например, проекции при компьютерной томографии). С этим этапом связаны различные методы улучшения изображения, такие как итерационные методы20,21 и применение искусственного интеллекта21. Хотя описанный метод, в принципе, применим ко всем модальностям, которые позволяют получать 3D-изображения с кубическими вокселями, он не может быть использован для объединения 3D-данных с 2D-данными, как объемная МРТ в сочетании с 2D-инфракрасной термографией22 или флуоресцентной визуализацией, которая может быть актуальна в хирургических приложениях под визуальным контролем. Регистрация 3D-данных не корректирует искажения, подобные тем, которые возникают на МРТ-изображениях на краю катушки. Хотя это не является обязательным, оптимальные результаты достигаются при исправлении искажений в процессе реконструкции. Автоматическое преобразование также не устраняет перевернутые изображения или неправильное масштабирование. Тем не менее, эти две проблемы можно решить вручную, как описано в разделе об устранении неполадок.
Значение метода
Предлагаемый метод устраняет необходимость в реперных знаках при сканировании производства, предлагая ряд преимуществ. Это полезно для методов, для которых требуется обслуживание маркеров или частая замена. Например, большинство маркеров МРТ основаны на влаге, но со временем имеют тенденцию к высыханию, а радиоактивные маркеры ПЭТ распадаются. Устраняя необходимость в реперных знаках при сканировании в рабочей среде, можно уменьшить поле зрения, что приводит к сокращению времени сбора. Это полезно в условиях высокой пропускной способности для снижения затрат и минимизации дозы рентгеновского излучения при компьютерной томографии. Снижение дозы желательно, поскольку радиация может влиять на биологические пути подопытных животных в исследованиях продольной визуализации23.
Более того, метод не ограничен конкретными модальностями. Компромисс для такой универсальности заключается в том, что автоматизируется меньшее количество шагов. Ранее опубликованный метод объединения данных μКТ и ТФМ использует встроенные маркеры в мышиной подушке для каждого сканирования и может выполнять автоматическое обнаружение маркеров и коррекцию искажений во время реконструкции24. Другие методы устраняют необходимость в маркерах, используя сходство изображений. Хотя этот подход дает хорошие результаты, а также может корректировать искажения25, он применим только в том случае, если эти два метода обеспечивают достаточно схожие изображения. Обычно это не относится к комбинации анатомически детализированной модальности и методологии, основанной на индикаторах. Тем не менее, эти комбинации необходимы для оценки фармакокинетики таргетных агентов26, которые имеют применение в таких областях, как противоопухолевая нанотерапия 27,28.
Поскольку контроль качества в доклинических исследованиях менее строгий по сравнению с клиническим применением, несоосность комбинированных устройств визуализации является общепризнанной проблемой29. Данные, на которые влияет это смещение, могут быть улучшены ретроспективно путем сканирования фантома и определения дифференциального преобразования, что потенциально снижает затраты и минимизирует вред для животных. В дополнение к продемонстрированному методу, в котором используются реперные знаки для расчета дифференциального преобразования, которое затем применяется к производственным сканированиям, описываются и используются другие возможности слияния изображений. Обзор, который включает в себя ссылки на различные доступные программы, можно найти в Birkfellner et al.30.
В заключение можно сказать, что представленный метод предлагает эффективное решение для мультимодальной совместной регистрации изображений. Протокол легко адаптируется для различных методов визуализации, а предоставленные методы поиска и устранения неисправностей повышают устойчивость метода к типичным проблемам.
Disclosures
The authors have nothing to disclose.
Acknowledgements
Авторы выражают благодарность Федеральному правительству земли Северный Рейн-Вестфалия и Европейскому союзу (EFRE), Немецкому научно-исследовательскому обществу (CRC1382 проект ID 403224013 – SFB 1382, проект Q1) за финансирование.
Materials
| 177Lu | radiotracer | ||
| Custom-build MPI mousebed | |||
| Hot Rod Derenzo | Phantech LLC. Madison, WI, USA | D271626 | linearly-filled channel derenzo phantom |
| Imalytics Preclinical 3.0 | Gremse-IT GmbH, Aachen, Germany | Analysis software | |
| Magnetic Insight | Magnetic Insight Inc., Alameda, CA, USA | MPI Imaging device | |
| Quantum GX microCT | PerkinElmer | µCT Imaging device | |
| U-SPECT/CT-UHR | MILabs B.V., CD Houten, The Netherlands | CT/SPECT Imaging device | |
| VivoTrax (5.5 Fe mg/mL) | Magnetic Insight Inc., Alameda, CA, USA | MIVT01-LOT00004 | MPI Markers |
References
- Hage, C., et al. Characterizing responsive and refractory orthotopic mouse models of hepatocellular carcinoma in cancer immunotherapy. PLOS ONE. 14 (7), (2019).
- Mannheim, J. G., et al. Comparison of small animal CT contrast agents. Contrast Media & Molecular Imaging. 11 (4), 272-284 (2016).
- Kampschulte, M., et al. Nano-computed tomography: technique and applications. RöFo – Fortschritte auf dem Gebiet der Röntgenstrahlen und der bildgebenden Verfahren. 188 (2), 146-154 (2016).
- Wang, X., Jacobs, M., Fayad, L. Therapeutic response in musculoskeletal soft tissue sarcomas: evaluation by magnetic resonance imaging. NMR in Biomedicine. 24 (6), 750-763 (2011).
- Hage, C., et al. Comparison of the accuracy of FMT/CT and PET/MRI for the assessment of Antibody biodistribution in squamous cell carcinoma xenografts. Journal of Nuclear Medicine: Official Publication, Society of Nuclear Medicine. 59 (1), 44-50 (2018).
- Borgert, J., et al. Fundamentals and applications of magnetic particle imaging. Journal of Cardiovascular Computed Tomography. 6 (3), 149-153 (2012).
- Vermeulen, I., Isin, E. M., Barton, P., Cillero-Pastor, B., Heeren, R. M. A. Multimodal molecular imaging in drug discovery and development. Drug Discovery Today. 27 (8), 2086-2099 (2022).
- Liu, Y. -. H., et al. Accuracy and reproducibility of absolute quantification of myocardial focal tracer uptake from molecularly targeted SPECT/CT: A canine validation. Journal of Nuclear Medicine Official Publication, Society of Nuclear Medicine. 52 (3), 453-460 (2011).
- Zhang, Y. -. D., et al. Advances in multimodal data fusion in neuroimaging: Overview, challenges, and novel orientation. An International Journal on Information Fusion. 64, 149-187 (2020).
- Nahrendorf, M., et al. Hybrid PET-optical imaging using targeted probes. Proceedings of the National Academy of Sciences. 107 (17), 7910-7915 (2010).
- Zhang, S., et al. In vivo co-registered hybrid-contrast imaging by successive photoacoustic tomography and magnetic resonance imaging. Photoacoustics. 31, 100506 (2023).
- Yamoah, G. G., et al. Data curation for preclinical and clinical multimodal imaging studies. Molecular Imaging and Biology. 21 (6), 1034-1043 (2019).
- Schönemann, P. H. A generalized solution of the orthogonal procrustes problem. Psychometrika. 31 (1), 1-10 (1966).
- Filippou, V., Tsoumpas, C. Recent advances on the development of phantoms using 3D printing for imaging with CT, MRI, PET, SPECT, and ultrasound. Medical Physics. 45 (9), e740-e760 (2018).
- Gear, J. I., et al. Radioactive 3D printing for the production of molecular imaging phantoms. Physics in Medicine and Biology. 65 (17), 175019 (2020).
- Sra, J. Cardiac image integration implications for atrial fibrillation ablation. Journal of Interventional Cardiac Electrophysiology: An International Journal of Arrhythmias and Pacing. 22 (2), 145-154 (2008).
- Zhao, H., et al. Reproducibility and radiation effect of high-resolution in vivo micro computed tomography imaging of the mouse lumbar vertebra and long bone. Annals of Biomedical Engineering. 48 (1), 157-168 (2020).
- Gremse, F., et al. Imalytics preclinical: interactive analysis of biomedical volume data. Theranostics. 6 (3), 328-341 (2016).
- Willmott, C. J., Matsuura, K. On the use of dimensioned measures of error to evaluate the performance of spatial interpolators. International Journal of Geographical Information Science. 20 (1), 89-102 (2006).
- Thamm, M., et al. Intrinsic respiratory gating for simultaneous multi-mouse µCT imaging to assess liver tumors. Frontiers in Medicine. 9, 878966 (2022).
- La Riviere, P. J., Crawford, C. R. From EMI to AI: a brief history of commercial CT reconstruction algorithms. Journal of Medical Imaging. 8 (5), 052111 (2021).
- Hoffmann, N., et al. Framework for 2D-3D image fusion of infrared thermography with preoperative MRI. Biomedical Engineering / Biomedizinische Technik. 62 (6), 599-607 (2017).
- Boone, J. M., Velazquez, O., Cherry, S. R. Small-animal X-ray dose from micro-CT. Molecular Imaging. 3 (3), 149-158 (2004).
- Gremse, F., et al. Hybrid µCt-Fmt imaging and image analysis. Journal of Visualized Experiments. 100, e52770 (2015).
- Bhushan, C., et al. Co-registration and distortion correction of diffusion and anatomical images based on inverse contrast normalization. NeuroImage. 115, 269-280 (2015).
- Lee, S. Y., Jeon, S. I., Jung, S., Chung, I. J., Ahn, C. -. H. Targeted multimodal imaging modalities. Advanced Drug Delivery Reviews. 76, 60-78 (2014).
- Dasgupta, A., Biancacci, I., Kiessling, F., Lammers, T. Imaging-assisted anticancer nanotherapy. Theranostics. 10 (3), 956-967 (2020).
- Zhu, X., Li, J., Peng, P., Hosseini Nassab, N., Smith, B. R. Quantitative drug release monitoring in tumors of living subjects by magnetic particle imaging nanocomposite. Nano Letters. 19 (10), 6725-6733 (2019).
- McDougald, W. A., Mannheim, J. G. Understanding the importance of quality control and quality assurance in preclinical PET/CT imaging. EJNMMI Physics. 9 (1), 77 (2022).
- Birkfellner, W., et al. Multi-modality imaging: a software fusion and image-guided therapy perspective. Frontiers in Physics. 6, 00066 (2018).
