Антипатич запропонував спосіб надзвичайної зупинки розвитку штучного інтелекту

Anthropic закликає до «самообмеження» розвитку ШІ

Компанія Anthropic, відома своїми зусиллями у сфері етики штучного інтелекту, знову опинилася в центрі уваги після конфлікту з Пентагоном на початку року. На цьому тижні стартап звернувся до представників галузі із проханням про готовність обмежувати розвиток технологій, якщо вони почнуть становити загрозу втрати контролю людиною.

Ключові тези звернення

* Повністю рекурсивне самовдосконалення ШІ може призвести до того, що системи стануть створювати своїх «переемників» без участі людини.

* У такому випадку критично важливими стають можливості моніторингу та обмеження поведінки цих систем.

> «Якщо системи здобудуть здатність самостійно створювати своїх переемників, велике значення набуває наша здатність контролювати, моніторити їх і обмежувати їхню поведінку», — зазначено у заяві Anthropic.

Чому це важливо?

У минулому місяці понад 80 % нового коду, використаного компанією, було згенеровано її власним агентом Claude. Це підтверджує, що Anthropic знає, про що говорить: якщо ШІ сам створює нові версії себе, контроль над ним стає все складнішим.

Представники стартапу вважають, що всьому світу необхідно мати можливість уповільнити або призупинити розробку передових моделей, щоб дати суспільству час адаптуватися і проаналізувати зміни. При цьому координація дій усіх учасників ринку критична: без узгоджених заходів недобросовісні гравці можуть нанести шкоду громадській безпеці.

Плани компанії

* У найближчі місяці Anthropic планує розробляти інструменти моніторингу небезпечних тенденцій у розвитку ШІ.

* Паралельно буде вести громадську роботу щодо обговорення регуляторних механізмів і створення наглядового органу, який зможе вводити режим «самообмеження».

Як підкреслює компанія, одна організація не може змінити ситуацію самостійно. Необхідна спільна робота всіх провідних розробників ШІ для забезпечення безпечного розвитку технологій.