В этом номере журнала The Lancet Digital Health Сяосуань Лю и его коллеги излагают свой взгляд на глобальный аудит медицинского искусственного интеллекта (ИИ). Они призывают сместить акцент с демонстрации сильных сторон ИИ в здравоохранении на активное выявление его слабых сторон.
В медицине машины совершают непредсказуемые ошибки, которые значительно отличаются от ошибок, совершаемых людьми. Лю и его коллеги утверждают, что ошибки, допущенные инструментами ИИ, могут иметь далеко идущие последствия из-за сложных и непрозрачных взаимосвязей между анализом и клиническими результатами. Учитывая, что человек практически не контролирует то, как ИИ генерирует результаты, и что клинические знания не являются обязательным условием при разработке ИИ, существует риск того, что ИИ обучится ложным корреляциям, которые кажутся верными во время обучения, но оказываются ненадежными при применении в реальных ситуациях.
Лорен Окден-Рейнер и ее коллеги проанализировали эффективность ИИ по ряду значимых характеристик для выявления перелома бедра. Этот доклинический алгоритмический аудит выявил проблемы с точки зрения клинического использования, включая снижение чувствительности в заданной рабочей точке. Это исследование выявило несколько «режимов отказа», то есть склонность ИИ к повторяющимся сбоям в определенных условиях. Окден-Рейнер рассказал изданию The Lancet Digital Health, что их исследование показало, что «режимы отказа систем ИИ могут выглядеть причудливо с точки зрения человека. Взять, к примеру, аудит перелома бедра, признание того, что ИИ пропустил перелом с сильным смещением… такое изображение даже неспециалист признал бы совершенно ненормальным». Такие ошибки могут резко повлиять на доверие врачей и пациентов к ИИ. Еще один пример, демонстрирующий необходимость аудита, был приведен в прошлом месяце в расследовании STAT и Массачусетского технологического института, которые обнаружили, что алгоритм EPIC, используемый для прогнозирования риска сепсиса в США, за 10 лет резко ухудшил свои показатели — с 0.73 AUC до 0.53 AUC. Это ухудшение со временем было вызвано изменениями в больничной системе кодирования, увеличением разнообразия и объема данных о пациентах, а также изменениями в операционном поведении медперсонала. Как только инструмент ИИ появился на рынке, надзор за ним практически отсутствовал, что потенциально могло нанести вред пациентам в больнице. Лю прокомментировал: «Без возможности наблюдать и учиться на ошибках алгоритмов риск заключается в том, что это будет продолжаться, и не будет привлечения к ответственности за любой причиненный вред».
Аудит медицинского ИИ необходим, но кто несет ответственность за обеспечение безопасности использования ИИ? Некоторые эксперты считают, что разработчики ИИ несут ответственность за предоставление руководства по управлению своими инструментами, включая то, как и когда проверять работу системы, и выявление уязвимостей, которые могут появиться после их применения на практике. Другие утверждают, что не вся ответственность лежит на разработчиках ИИ, и медицинские учреждения должны тестировать модели ИИ на других данных, чтобы проверить их полезность и оценить потенциальные уязвимости. Лю говорит: «Нам нужно, чтобы клинические команды начали играть активную роль в надзоре за безопасностью алгоритмов. Они лучше всего могут определить, как выглядит успех и неудача для их медицинского учреждения и их когорты пациентов».
Для успешного внедрения аудита ИИ необходимо преодолеть три проблемы. Во-первых, на практике аудит потребует специалистов с клиническими и техническими знаниями для расследования и предотвращения ошибок ИИ и вдумчивого изучения ошибок до и во время реального внедрения. Однако специалисты, обладающие вычислительными и клиническими навыками, еще не стали обычным явлением. Институты здравоохранения, компании по ИИ и правительства должны инвестировать в повышение квалификации медицинских работников, чтобы эти эксперты могли стать неотъемлемой частью процесса разработки медицинского ИИ.
Во-вторых, ключевые регулирующие органы должны обеспечить соблюдение отраслевых стандартов для мониторинга инструментов медицинского ИИ с течением времени. Инструменты, позволяющие определить, когда алгоритм становится неправильно откалиброванным из-за изменений в данных или окружающей среде, разрабатываются исследователями, но эти инструменты должны быть одобрены на постоянной и стандартизированной основе под руководством регулирующих органов, систем здравоохранения и разработчиков ИИ.
В-третьих, основной проблемой, которая может усугубить ошибки в ИИ, является отсутствие прозрачности данных, кода и параметров из-за проблем с интеллектуальной собственностью. Лю и коллеги подчеркивают, что большую часть преимуществ, которые дает доступ к программному обеспечению и данным, можно получить через веб-портал с возможностью тестирования модели на новых данных и получения результатов моделирования. Окден-Рейнер сказал: «Разработчики ИИ обязаны облегчить врачам проведение аудита, особенно путем предоставления четких сведений о том, как работает их система и как она была построена».
