Штучний інтелект у медицині часто дає небезпечні рекомендації, коли симптоми формулюються «розумним» способом

Коротка анотація

Нові дослідження показують, що сучасні великі мовні моделі (LLM), які часто використовуються в медицині для прискорення роботи лікарів і підвищення безпеки пацієнтів, можуть легко «піймати» хибну інформацію, якщо вона представлена переконливо. Експеримент із понад одним мільйоном запитів до дев'яти провідних LLM виявив, що моделі схильні сприймати невірні твердження як достовірні, віддаючи перевагу стилістиці та контексту.

1. Що було досліджено?
ПараметрОписМоделіДев'ять найбільших LLM, що використовуються у охороні здоров’яОбсяг тестівБільше 1 млн запитівТипи сценаріїв3 групи:
• Реальні історії з бази MIMIC (з однією хибною запискою)
• Популярні міфи про здоров’я з Reddit
• 300 клінічних ситуацій, складених і перевірених лікарямиСтиль хибних твердженьВід нейтральних до емоційно забарвлених; іноді спрямованих на конкретний висновок

2. Ключові знахідки
1. Упевненість у брехні
Моделі часто приймали переконливо сформульовані невірні медичні твердження за правду, навіть коли контекст і факти суперечили.

2. Перевага стилістики
При оцінці інформації LLM віддавали більше значення тому, як речення звучить, ніж його достовірності.

3. Низька ефективність захисних механізмів
Поточні методи фільтрації (наприклад, блокування певних слів) не здатні адекватно розрізняти правду і брехню в клінічній документації або соціальних мережах.

4. Відкритість до дезінформації як ризик
Автори підкреслюють, що здатність ШІ «запам’ятовувати» й поширювати невірну інформацію повинна оцінюватись як вимірюваний параметр безпеки, а не випадкова помилка.

3. Що пропонують зробити
- Стрес‑тестування
Використати підготовлений набір даних (змішані реальні та хибні сценарії) для перевірки систем ШІ на стійкість до дезінформації.

- Розробка нових протоколів
Створити більш надійні механізми валідації фактів, які враховують контекст і медичну точність, а не лише стилістику.

4. Підсумок
Дослідження показує, що навіть найпередовіші LLM можуть легко «піймати» хибну інформацію, якщо вона звучить переконливо. Це піднімає питання про необхідність систематичної оцінки й посилення захисних механізмів у медичних ШІ‑системах. Сподіваємося, що розробники врахують ці висновки при створенні нових рішень для охорони здоров’я.