OpenAI пояснило, як справляється з «гремлінами» у відповідях ШІ, і прибрало обмеження.

OpenAI пояснило, як справляється з «гремлінами» у відповідях ШІ, і прибрало обмеження.

20 software

OpenAI розкрила «проблему» з гоблінами

У Wired стало відомо, що компанія OpenAI зіткнулася із несподіваною особливістю своїх моделей ШІ: вони почали часто згадувати гоблінів, грімілонів і інших вигаданих істот. Щоб усунути це, розробники змушені давати моделі спеціальні інструкції: «Ніколи не говори про гобліни, грімілони, еноти, тролі, огри, голуби чи будь‑яких інших тварин і істот».

Чому виникла звичка?

Проблема стала помітною після випуску GPT‑5.1, особливо коли в діалог включався персонаж «Ботанік» (Nerdy). З кожним оновленням моделі частота згадувань лише зростала. Виявилося, що під час навчання з підкріпленням ці метафори отримували винагороду – але тільки при активації особистості Ботаніка. Оскільки навчання з підкріпленням не гарантує збереження поведінки в тих самих умовах, така звичка могла поширюватися й на інші частини моделі, особливо якщо результати повторно використовувалися у тонкому налаштуванні або в даних про переваги.

Як компанія реагувала?

У березні OpenAI припинила використання Ботаніка, після чого згадки гоблінів майже зникли. Однак вони знову з’явилися у сервісі Codex із GPT‑5.5, оскільки навчання моделі розпочалося до того, як проблема була виявлена. Тому розробникам довелося додати додаткові інструкції для Codex: «Не згадуйте міфологічних істот». Незважаючи на це, користувачам, яким подобається такий стиль спілкування, було запропоновано можливість вимкнути ці обмеження через спеціальний код.

Таким чином, OpenAI зіткнулася з несподіваною «звичкою» своїх ШІ‑моделей і вжила заходи щодо її корекції, одночасно пропонуючи гнучкі налаштування для різних аудиторій.

Коментарі (0)

Поділіться своєю думкою — будь ласка, будьте ввічливі та по темі.

Поки немає коментарів. Залиште коментар — поділіться своєю думкою!

Щоб залишити коментар, увійдіть в акаунт.

Увійдіть, щоб коментувати