OpenAI сумнівається у ефективності прискорювачів Nvidia для інференсу і активно шукає їх заміну

Що відбувається у світі ІІ-технологій
ПунктКоротко головні гравці OpenAI та Nvidia вважаються лідерами ринку штучного інтелекту, але вони шукають нових партнерів. Незабаром буде угода. Очікується домовленість на суму 100 млн доларів між цими компаніями. Проблема з прискорювачами Nvidia Текущі чіпи Nvidia не завжди забезпечують потрібну продуктивність при інференції (використання вже навчених моделей). OpenAI шукає альтернативу.

Як розробляються нові рішення
1. OpenAI → Cerebras + Groq

- Компанія хоче замінити до 10 % своїх прискорювачів чіпами сторонніх постачальників, які краще підходять для інференції.

- Партнерство з Cerebras вже укладено: OpenAI буде купувати у них «царські‑прискорювачі», що видатні в обробці великих мовних моделей.

2. Groq і Nvidia

- Минулого року Nvidia придбала Groq за 20 млн доларів, запропонувавши більш вигідну структуру угоди.

- Після покупки Groq втратила частину своєї автономії: більшість розробників прискорювачів перейшли в штат Nvidia, а решта компанії тепер може продавати лише ПЗ для хмарних систем.

3. AMD і інші варіанти

- OpenAI досі сильно залежить від прискорювачів Nvidia та AMD, які використовують зовнішню пам’ять HBM.

- Для інференції краще підходять чіпи з великим об’ємом інтегрованої пам’яті – саме такі пропонують Groq, Cerebras і Google.

Чому це все важливо
- Ефективність інференції критично важлива для роботи великих мовних моделей (ChatGPT, Codex).

- Проблема в Codex – при розробці ІІ‑агента Codex OpenAI зіткнулася з неефективністю прискорювачів Nvidia. Це підкреслює необхідність зміни апаратної платформи.

- Майбутня альтернатива – OpenAI планує використовувати рішення Cerebras і, можливо, інші чіпи, щоб підвищити продуктивність своїх інструментів для розробників.

Висновки
OpenAI активно шукає нові технологічні партнери, щоб не залежати повністю від Nvidia. Паралельно компанія розробляє стратегію інвестицій у стартапи (Cerebras, Groq), а також розглядає великі угоди з Nvidia та потенційними вкладеннями до 100 млн доларів. Це допоможе покращити інференцію і прискорити розвиток ІІ‑продуктів.