Текстовые запросы помогут выделять структуры на УЗИ сердца
Вместо ручной разметки врачи могут использовать текстовые команды для сегментации сердечных структур. Разработчики представили модель P2Echo, которая понимает запросы на естественном языке.
Модель P2Echo объединяет анализ медицинских изображений и текстовые инструкции в единую систему. Она позволяет выделять разные части сердца на снимках эхокардиографии (УЗИ сердца), используя описания видов и анатомических структур. Это достигается за счёт модуля DyITA, который настраивает признаки декодера под конкретный запрос пользователя.
В отличие от классических методов, где для каждой задачи может требоваться отдельная нейросеть, P2Echo работает как универсальный инструмент. Система использует «умные» подсказки: пользователь пишет, какой вид УЗИ и какую структуру нужно найти, а модель адаптирует процесс сегментации под эти параметры.
Разработчики подготовили открытый доступ к весам модели на Hugging Face и коду на GitHub. Однако важно помнить. Система предназначена только для исследовательских целей в области анализа медицинских изображений. Она не прошла проверку для принятия клинических решений.
Пока это лишь инструмент для лабораторий и разработчиков медицинского ПО. Для врачей это означает потенциальную возможность автоматизировать рутинную работу с графикой, когда технологии пройдут клиническую валидацию.
Источники · 1
Текст подготовила языковая модель по материалам источников.
