Cisco виявила причини, через які навіть здавалось би ідеальні звіти ШІ про кіберінциденти не варто сприймати як істину

Cisco Talos досліджує точність великих мовних моделей у створенні кібер‑звітів

Команда Cisco Talos Incident Response провела тест, щоб з’ясувати, наскільки надійно сучасні LLM (ChatGPT, Claude і Gemini) можуть генерувати технічні звіти про кіберінциденти. Результати показали, що навіть най«професійно виглядаючі» документи містять фактичні помилки, суперечності та невідповідності.

Як проводилося дослідження
* Підготовка – дослідники передали кожній моделі сирі нотатки про інцидент із проханням скласти звіт.

* Вихід – усі три LLM надали візуально відполіровані документи, але при детальному аналізі виявилися неточності та несподівані висновки.

Нейт Порс (Nate Pors), старший керівник напрямку реагування на інциденти в Cisco Talos, докладно описав результати у корпоративному блозі.

Чому LLM «помиляються»
Cisco пояснює проблеми ймовірнісною природою моделей: вони передбачають наступне слово за статистичними вагами, а не розуміють зміст. За словами Порса, спотворення проявляються у чотирьох напрямках:

1. Різні фрагменти даних

При кожному запиті модель опирається на різні частини вхідних даних, що робить неможливим отримання відтворюваних і стандартизованих результатів.

2. Несумісні висновки

Ті самі дані можуть призвести до різних рекомендацій: у одному звіті буде запропоновано примусовий збір паролів по всій організації, а в іншому – лише точкові зміни. Модель часто фіксується на першій згенерованій рекомендації, навіть якщо вона не підходить.

3. Нестандартна структура

Оскільки LLM формують текст токен за токеном, кінцеві документи можуть мати різну структуру і оформлення, що критично в середовищі, де потрібні шаблони для контролю якості.

4. Проблеми контекстного вікна

При об’ємі вхідних даних, перевищуючому ліміт контексту, модель може «забути» важливі відомості з початку сесії і видавати непередбачувані або змішані результати.

Що це означає для кібербезпеки
Cisco визнає, що теоретично можна обмежити задачу до конкретного фрагмента звіту, але такий підхід позбавляє користувачів економії часу. У сфері кібер‑захисту навіть невелика помилка може коштувати дорого. Тому автори кінцевих документів повинні ретельно перевіряти кожне слово і не покладатися повністю на рекомендації LLM.

Висновок: великі мовні моделі здатні швидко генерувати звіти, але їх висновки потребують обов’язкової перевірки фахівцями, щоб уникнути помилок та невідповідностей у критично важливому контексті кіберінцидентів.