Андрій Карпати навчив ІІ‑агентів виконувати сотні експериментів у нічний час, коли люди відпочивають

Андрій Карпатий (Andrej Karpathy) відкриває новий підхід до самостійних досліджень

Колишній керівник проектів ШІ Tesla і співзасновник OpenAI Андрій Карпатий оголосив про запуск простого, але потужного проекту з відкритим кодом. Скрипт складається лише з 630 рядків і розміщений на GitHub. Він не претендує на статус готової моделі чи великого корпоративного продукту; мета – показати, як ШІ‑агенти можуть повністю автоматизувати науковий метод без втручання людини.

> «Наша задача — створити агентів, які нескінченно швидко просуваються у дослідженнях, навіть вночі» – написав Карпатий у X. Повідомлення одразу стало вірусним і зібрало понад 8,6 млн переглядів за два дні.

Як працює система
1. Ініціалізація

Агент отримує навчальний скрипт та фіксований обчислювальний бюджет (зазвичай 5 хвилин на GPU).

2. Самоаналіз коду

Читає власний вихідний код, формулює гіпотезу покращення (наприклад, зміна швидкості навчання або глибини моделі).

3. Модифікація та запуск експерименту

Вносить зміни, запускає експеримент і оцінює результати.

4. Перевірка ефективності

Якщо метрика *val_bpb* (потери на байт при валідації) покращується, зміна зберігається; інакше відкотиться і генерується нова гіпотеза.

Протягом однієї ночі агент провів 126 експериментів, знизивши втрати з 0,9979 до 0,9697. Після дводенної налаштування він обробив близько 700 автономних змін, виявивши ~20 додаткових покращень, які успішно перенесли на більші моделі.

Карпатий зауважив: «Подивитися, як агент повністю керує процесом від початку до кінця, неймовірно. Він знайшов помилки у масштабуванні уваги та регуляризації, яких я пропускав протягом 20 років роботи».

Що говорять експерти
Автоматизація наукового методу вважається фундаментальним зрушенням у розвитку ШІ. Перетворивши машинне навчання у «екологічний процес» зі швидкістю кремнію, Карпатий відкрив нові горизонти для досліджень не лише в IT, а й у маркетингу, охороні здоров’я та інших сферах.

Приклади практичного застосування
Партнер | Опис експерименту | Результати
---|---|---
Hyperspace AI (Varun Mathur) | 35 автономних агентів працювали в одноранговій мережі, використовуючи ноутбучні CPU. | За ніч вони провели 333 експерименти без оператора, відкривши стратегії ініціалізації (Kaiming, Xavier) і нормалізації (RMSNorm).
Single Grain (Eric Siu) | Автоматизація маркетингового циклу: агент змінює параметри на цільових сторінках, рекламних креативах або листах. | Вимірює «процент позитивних відповідей», зберігає успішні зміни і видаляє неефективні.

Висновок
Карпатий продемонстрував, як прості скрипти можуть стати потужними інструментами для самонавчання ШІ‑агентів. Автоматизований цикл оптимізації дозволяє проводити сотні експериментів за ніч, виявляючи покращення, які раніше вимагали років досліджень. Це відкриває шлях до більш швидкої та масштабованої розробки моделей у різних галузях.