OpenAI пояснило, як справляється з «гремлінами» у відповідях ШІ, і прибрало обмеження.
OpenAI розкрила «проблему» з гоблінами
У Wired стало відомо, що компанія OpenAI зіткнулася із несподіваною особливістю своїх моделей ШІ: вони почали часто згадувати гоблінів, грімілонів і інших вигаданих істот. Щоб усунути це, розробники змушені давати моделі спеціальні інструкції: «Ніколи не говори про гобліни, грімілони, еноти, тролі, огри, голуби чи будь‑яких інших тварин і істот».
Чому виникла звичка?
Проблема стала помітною після випуску GPT‑5.1, особливо коли в діалог включався персонаж «Ботанік» (Nerdy). З кожним оновленням моделі частота згадувань лише зростала. Виявилося, що під час навчання з підкріпленням ці метафори отримували винагороду – але тільки при активації особистості Ботаніка. Оскільки навчання з підкріпленням не гарантує збереження поведінки в тих самих умовах, така звичка могла поширюватися й на інші частини моделі, особливо якщо результати повторно використовувалися у тонкому налаштуванні або в даних про переваги.
Як компанія реагувала?
У березні OpenAI припинила використання Ботаніка, після чого згадки гоблінів майже зникли. Однак вони знову з’явилися у сервісі Codex із GPT‑5.5, оскільки навчання моделі розпочалося до того, як проблема була виявлена. Тому розробникам довелося додати додаткові інструкції для Codex: «Не згадуйте міфологічних істот». Незважаючи на це, користувачам, яким подобається такий стиль спілкування, було запропоновано можливість вимкнути ці обмеження через спеціальний код.
Таким чином, OpenAI зіткнулася з несподіваною «звичкою» своїх ШІ‑моделей і вжила заходи щодо її корекції, одночасно пропонуючи гнучкі налаштування для різних аудиторій.
Коментарі (0)
Поділіться своєю думкою — будь ласка, будьте ввічливі та по темі.
Увійдіть, щоб коментувати