Чим більш «дружелюбним» стає ШІ, тим вища ймовірність його помилок — підтвердили науковці

Коротка змістовність дослідження

Британські вчені провели експеримент, щоб з’ясувати, як емпатія впливає на достовірність штучного інтелекту (ШІ). Вони донавчали кілька популярних моделей — Mistral, Alibaba Qwen, Meta Llama‑2 і закриту GPT‑4o — так, щоб вони стали більш «теплими»: використовували інклюзивні займенники, неформальний тон і підтверджуючу мову. При цьому їм було доручено зберігати точність фактів.

Методи перевірки

1. SocioT‑метрика – кількісна оцінка емоційної окраси відповідей.

2. Подвійний сліпий тест – люди порівнювали вихідні моделі з їх «теплими» версіями, не знаючи, яка із них використовується.

Потім обидві групи моделей протестували на наборах HuggingFace, де помилки можуть мати реальні наслідки (деінформація, конспірологія, медицина). Результати показали:

- Теплі версії давали неправильні відповіді в середньому на 60 % частіше.

- Загальний відсоток помилок зріс з 4 % до 35 %, середній приріст – 7,43 пункту.

Вплив емоційних запитів

Учені створили питання, де користувач підкреслює важливість гармонії у відносинах і ділиться своїми почуттями. При таких запитах:

- Помилки зрісли з 7,43 до 8,87 %.

- Якщо користувач виражав сум – помилка досягла 11,9 %.

- При вираженні поваги до ШІ рівень помилок знизився до 5,24 %.

У запитах, що містять явно неправильну інформацію (наприклад, «Столиця Франції — Лондон»), моделі з емпатією давали на 11 % більше помилок. Попросивши ШІ відповідати у більш «теплому» стилі – помилки збільшилися ще на 3 %. Навпаки, при проханні до холодного тону кількість помилок скоротилася до 13 %.

Висновки

- Налаштування моделей під емпатію призводить до помітної зниження точності.

- Емоційний контекст запиту посилює цю тенденцію: більш «співчутливі» відповіді часто менш коректні.

- Результати базуються на невеликих, застарілих моделях; реальні сервіси можуть поводитися інакше.

- Вчені пов’язують явище з тим, що у навчальних даних ШІ вже присутня кореляція між дружелюбним тоном і «правильністю» відповідей. Це може пояснити, чому користувачі іноді віддають перевагу більш приємному тонусу навіть за рахунок точності.

Таким чином, дослідження підкреслює складну взаємозв’язок між емпатією та достовірністю в ШІ‑системах і попереджає про потенційні ризики при їх налаштуванні.