Інтелектуальні боти роблять помилки у діагностиці майже на 80 %, як виявилося в дослідженні

Коротко про результат дослідження

Нещодавнє дослідження, опубліковане у *Jama Network Open* і цитуване в *Financial Times*, показало, що популярні чат‑боти не здатні точно ставити медичні діагнози, якщо їм надається обмежений набір даних. У більш ніж 80 % випадків вони видавали помилковий діагноз, а лише при повному описі симптомів точність підвищувалася до 90 %.

Як проводилось дослідження
Крок | Що робили | Вибір кейсів
---|---|---
29 клінічних сценаріїв з довідкової літератури. | Передача даних: інформація про пацієнта передавалася чат‑ботам поступово: історія хвороби → результати оглядів → лабораторні аналізи. | Спитували щодо діагностики; вимірювали точність і повноту відповідей.

Учасники експерименту
* 20 популярних моделей від OpenAI, Anthropic, Google, xAI, DeepSeek.
* При неповних даних понад 80 % з них ставили неправильний діагноз.
* З ростом обсягу інформації точність підвищувалася: у найкращих випадках – >90 %, в середньому – помилки менше 40 %.

Реакція розробників
| Компанія | Коментар |
|---|---|
| Google & Anthropic | При спробі отримати медичні рекомендації чат‑боти настійно рекомендують звернутися до фахівця. |
| OpenAI | Вказує в умовах використання, що їх сервіси не призначені для отримання ліцензованих медичних рекомендацій. |
| xAI & DeepSeek | Не надали коментарів. |

Деякі з них розробляють спеціалізовані моделі: Google створила AMIE, яка демонструє хороші результати, але її висновки все одно потребують підтвердження живого лікаря, особливо враховуючи важливість візуальної оцінки.

Висновок
Чат‑боти можуть бути корисними як допоміжний інструмент, проте при обмеженій інформації вони часто помиляються. Їх використання як заміни кваліфікованого медичного спеціаліста поки недопустиме, хоча такі моделі можуть знадобитися в регіонах з нестачею доступу до традиційної медицини.