Автономный ИИ в медицине - будущее

Сегодня участвовал в рамках конфы Онлайн.Диагностика в круглом столе по теме автономного искусственного интеллекта в медицине. У нас сейчас один такой продукт - отсев нормы по ФЛГ/РГ. В рамках круглого стола обсудили несколько тем, кратенько опишу свои ответы.

Что мы делаем для обеспечения безопасности использования автономного ИИ?

• Внутренний контроль качества до релиза. Этапы тестирования и валидации и так могут занимать до половины всего времени подготовки релиза, а для автономных сценариев нужны дополнительные проверки - на датасетах с реальным балансом классов, на датасетах с типичными ошибками ИИ, на необычных данных.
• Мониторинг после релиза. В первую очередь мы смотрим на динамику основного показателя в Графане, в даном случае - это процент отсева нормы. Это помогает ловить явные сбои, но этого недостаточно. Главный враг автономного ИИ - дрифты в данных, особенно если в системе не заложено механизмов автоматической адаптации (а это пока малоосуществимо). Вот пример классного фреймворка, который учитывает и DICOM-теги, и предсказания, и визуальные признаки.

• Процессы - для высокорисковых сценариев особенно важен порядок в процессах документирования разработки, и в этом нам сильно помогла сертификация по ISO. Ещё один важный аспект - коммуникация с клиентом. Как ни странно, понятие "нормы" в двух разных медицинских организациях или сценариях применения может сильно отличаться.

Чем автономная версия ИИ-системы отличается от обычного?

Есть много различных способов превращения существующей модели в автономную.

• Самый простой способ - подобрать новые консервативные пороги для нового сценария применения.
• Вариант посложнее - обучить специальную мета-модель на нужной разметке под новую задачу.
• Ещё можно использовать способы измерения уверенности модели в предикте, и отправлять неуверенные исследования в "не-норму".
• Дополнительно можно отметить важность максимальной автоматизации процессов доразметки и дообучения моделей на ошибочных кейсах. Чем меньше человеческого времени мы тратим на подготовку улучшенной версии модели, тем быстрее мы сможем улучшать качество, валидировать результаты и релизить новые версии.

Что нас ждёт в будущем?

Этот вопрос обсудить не успели, а он очень интересный. Какие новиночки могут появиться в мире автономного ИИ? Мои идеи по этому поводу:

• Возможность ручной и автоматической адаптации ИИ под требования и данные конкретного клиента. Это может быть как обычная настройка порогов срабатывания, так и автоматическое обучение адаптеров под конкретных клиентов. В эту же копилку отправляется федеративное обучение, которое могло бы улучшать модель на разнообразных данных даже из закрытого контура, что в медицине не редкость.
• Генерация синтетических данных по запросу. NVIDIA и GE на днях заявили о планах использования симуляций и синтетических данных для развития автономного ИИ, в том числе роботов-лаборантов, для рентгенов и УЗИ. Простые работяги типа нас тоже могут использовать синтетику. Например, если модель постоянно отправляет в норму определённый тип патологии, то можно нагенерировать таких данных, чтобы попробовать решить проблему.
• Полноценное встраивание ИИ-агентов в работу медицинской организации. Например, модель может не просто проанализировать снимок, а по необходимости запросить дополнительный тест или получить доступ к медкарте пациента.
• CoT в мультимодальных моделях для генерации объяснения, как модель пришла к такому выводу. Обычно CoT рассматривают в рамках текстовых моделей, но никто не мешает применить похожий подход и к VLM - пример раз, пример два. Особенно интересно было бы припилить reasoning к уже существующему детектору или сегментатору.