НVIDIA представила Nemotron 3 Super 120B — відкриту LLM з п'ятикратним збільшенням швидкості для ІІ‑агентів

Нова модель від Nvidia – Nemotron 3 Super

Nvidia оголосила про запуск Nemotron 3 Super, відкритої ІІ‑моделі типу Mixture‑of‑Experts (MoE).

* 120 млрд загальних параметрів, з них 12 млрд активних.

* Призначена для агентного ІІ – систем, де кілька «агентів» взаємодіють один з одним і зі зовнішнім світом.

Архітектура
Модель використовує гібридний підхід Mamba‑Transformer (поєднання шарів Mamba та елементів Transformer).

У Nemotron 3 Super вперше застосована парадигма LatentMoE, шари Multi‑Token Prediction і попереднє навчання за протоколом NVFP4. За словами Nvidia, цей стек підвищує точність і прискорює інференс.

Продуктивність
* Пропускна здатність – до 5× швидше попередньої версії Nemotron Super.

* Точність – до 2× вище.

* Підтримка контекстного вікна у 1 млн токенів дозволяє агентам зберігати повний стан робочого процесу, зменшуючи ризик відхилення від цілі.

Практичне застосування
Nemotron 3 Super добре підходить для складних завдань у багатоядерних системах:

Завдання Приклад використання Генерація і налагодження коду без розбиття на документи Автоматичне написання та перевірка великих програм Фінансовий аналіз Включення тисяч сторінок звітів у пам’ять моделі

Навчання
Модель навчалася на синтетичних даних, створених за допомогою логічних моделей мислення. Nvidia розкриває повну методологію:

* понад 10 трильйонів токенів до і після навчання;
* 15 середовищ для навчання з підкріпленням;
* рецепти оцінки.

Дослідники можуть використовувати платформу Nvidia NeMo для подальшої налаштування або створення власних версій моделі.

Технічні деталі
* Підтримка NVFP4 на архітектурі Nvidia Blackwell.
* Зменшення вимог до пам’яті і прискорення виводу у чотири рази порівняно з FP8 на Nvidia Hopper без втрати точності.

Доступність
Модель вже доступна:

* Через build.nvidia.com, Hugging Face, OpenRouter та Perplexity.
* Хмарні партнери: Google Cloud Vertex AI, Oracle Cloud Infrastructure, CoreWeave, Together AI, Baseten, Cloudflare, DeepInfra, Fireworks AI, Modal.
* У вигляді мікросервісу Nvidia NIM, що дозволяє розгорнути модель локально або в хмарі.

Nemotron 3 Super відкриває нові можливості для агентного ІІ, поєднуючи високу точність, масштабованість і гнучкість налаштування.