Краткий пересказ от РИА ИИ
- Ученые Университета Иннополис создали ИИ-помощника врача, который предсказывает движение его глаз при анализе рентгеновских снимков.
- Разработанная модель может лечь в основу симуляторов для обучения будущих рентгенологов правильным паттернам визуального поиска.
МОСКВА, 12 мая — РИА Новости. Предсказывать движение глаз врача при анализе рентгеновских снимков может новая нейронная сеть, созданная учеными Университета Иннополис. По словам разработчиков, алгоритм может "научить" молодых рентгенологов не просто смотреть на снимки, но и замечать на них важные детали для постановки диагноза. Результаты работы представлены на Конференции по нейронным информационным системам NeurIPS.
В зависимости от задачи — например, поиска признаков пневмонии, сердечной недостаточности или контроля за заживлением переломов ребер — врачи должны обращать внимание на разные части рентгеновского снимка грудной клетки. Однако современные "диагностические" нейронные сети обращают внимание на слишком темные или наиболее яркие пиксели, которые могут появиться из-за засветки кабинета рентгенографии или поглощения излучения украшениями на теле пациента, рассказали ученые Университета Иннополис.
Специалисты вуза создали ИИ-помощника рентгенолога, который опирается не только на "картинку", но и на медицинские данные: анатомические, диагностические и другие сведения.
"Наша модель объединяет зрение, язык и медицинские знания для предсказания взгляда рентгенолога, изучающего медицинские снимки. Она связывает пиксели не просто с яркими областями, а с медицинским смыслом этих областей и с диагностической задачей. Особый подход к анализу данных помог заглянуть внутрь нейросети и извлечь из отдельных фрагментов снимка понятные человеку семантические описания: "кость", "сердце", "затемнение", — рассказал один из авторов работы, специалист Лаборатории искусственного интеллекта в медицине Университета Иннополис Дмитрий Львов.
Для обучения нейросети использовались три типа данных: визуальные признаки, полученные от специализированных медицинских алгоритмов; текстовые описания диагностических меток, например, "норма" или "пневмония"; и семантические данные — примеры описания данных для человека. В результате модель предсказывает не только тепловую карту внимания, но и последовательность фиксаций взгляда: координаты участков снимка и длительность внимания к ним — именно так, как врач-рентгенолог распределяет внимание при поиске ответа на поставленную медицинскую задачу.
По словам руководителя Лаборатории искусственного интеллекта Университета Иннополис Ильи Першина, новая система может на пять процентов точнее аналогов выявлять пневмонию и сердечную недостаточность. Но ценность модели — не в возможности быть "самостоятельным врачом", а в обучении новых кадров не только видеть снимки, но и правильно на них "смотреть".
"Разработанная модель может лечь в основу симуляторов для обучения будущих рентгенологов правильным паттернам визуального поиска. Кроме того, предсказание "траектории" взгляда делает работу медицинских ИИ-систем более понятной и обоснованной для врача, укрепляя доверие к технологиям. Конечно, внедрение и масштабирование модели потребует дополнительной валидации в разных медицинских учреждениях", — подчеркнул Першин.
Работа выполнена при поддержке Министерства экономического развития РФ.