Microsoft повідомила про результати тестування системи штучного інтелекту MAI-DxO, призначеної для встановлення медичних діагнозів. У деяких тестах вона показала вищу точність, ніж лікарі.
Як працює медична ШІ-система Microsoft
Microsoft розробила систему MAI-DxO, яка аналізує медичні випадки та допомагає визначати можливі діагнози.
На відміну від звичайного тестування, система не отримує всю інформацію про пацієнта одразу. Спочатку їй надають обмежені дані, а ШІ вирішує, які додаткові запитання поставити та які обстеження можуть допомогти встановити діагноз.
Для перевірки Microsoft створила тест SDBench, який оцінює не лише правильність діагнозу, а й процес його встановлення. Зокрема, система враховує, які обстеження були обрані та скільки вони могли б коштувати.
MAI-DxO працює за принципом групи віртуальних лікарів. Кожен із них пропонує можливі діагнози, ставить запитання та перевіряє припущення інших.
Система координує кілька раундів такого обговорення та оновлює висновки після отримання нових даних.
За задумом Microsoft, такий підхід має наблизити перевірку медичного ШІ до реального процесу діагностики.
Які результати показав ШІ порівняно з лікарями
Microsoft перевірила MAI-DxO на двох наборах медичних випадків.
Перший містив 304 складні випадки, опубліковані в The New England Journal of Medicine. На цих завданнях MAI-DxO встановила правильний діагноз у 83% випадків.
Для порівняння, лікарі без додаткових джерел інформації досягли точності 22%. Коли лікарі могли користуватися підручниками та інтернетом, їхня точність становила 36%.
У тестуванні MAI-DxO встановлювала правильний діагноз приблизно в 3,7 раза частіше за лікарів без довідкових матеріалів і в 2,3 раза частіше за тих, хто міг користуватися додатковими джерелами інформації.
Другий набір містив типовіші випадки звернень до відділень невідкладної допомоги з бази MIMIC-IV-ED. Тут MAI-DxO досягла точності 80%, тоді як лікарі — 47%.
Окремо Microsoft перевірила, чи може система зменшувати витрати на діагностику.
Під час тестування на складних медичних випадках одна з версій MAI-DxO встановила правильний діагноз у 81% випадків. При цьому витрати на діагностику були більш ніж удвічі нижчими, ніж у систем, із якими її порівнювали.
У компанії також зазначили, що результати зберігалися або покращувалися під час використання новіших моделей ШІ.
Ці показники отримали в межах спеціального тестування. Вони не доводять, що система вже працює краще за лікарів у звичайних клінічних умовах.
Що Microsoft планує робити далі
Microsoft планує перевірити можливості MAI-DxO у реальних медичних закладах. Для цього компанія розпочинає співпрацю з Beth Israel Deaconess Medical Center у Бостоні.
Під час майбутнього дослідження пацієнти безпосередньо взаємодіятимуть із системою. Результати її роботи порівнюватимуть із незалежними висновками лікарів.
Також Microsoft співпрацює з Mayo Clinic над розвитком медичних ШІ-систем, які зможуть враховувати різні типи даних про пацієнтів. Компанія планує об’єднати свої медичні команди, зокрема дослідників Microsoft Research і розробників Dragon Copilot та PowerScribe.
Частину інструментів тестування SDBench Microsoft відкриває для дослідників, щоб вони могли перевіряти результати та порівнювати інші моделі.
