НVIDIA розкрила, як DLSS 5 «додумує» картинку, опираючись лише на 2D‑кадр і вектори руху.

Як працює DLSS 5: пояснення співробітника Nvidia

У недавньому інтерв’ю Джейкоб Фрідман (Jacob Freeman) з Nvidia роз'яснив принцип роботи нової технології масштабування зображень — DLSS 5, що використовує штучний інтелект.

Що подається в систему
* 2‑D кадр – звичайне відрендероване зображення.
* Вектори руху – інформація про те, як об’єкти переміщуються між кадрами.

Ніяких тривимірних даних не використовується: модель не читає геометрію сцени, глибину, матеріали чи карти нормалей. Це означає, що DLSS 5 повністю опирається на 2‑D інформацію та рух.

Як «розуміє» сцену
* Семантика – ШІ розпізнає об’єкти типу волосся, тканина, шкіра і умови освітлення.
* Для цього достатньо лише одного кадру; модель не враховує металевість, шероховатість чи інші властивості матеріалів.

Тому іноді результати можуть здаватися «непередбачуваними»:
- у персонажа з’являються волосся там, де їх немає;
- змінюються риси обличчя.

Ніяких змін в базовій геометрії не відбувається – це просто візуальна інтерпретація AI.

Обмеження та можливості для розробників
* Розробники можуть регулювати інтенсивність ефекту, колірну корекцію, контраст, насиченість, гамму.
* Можна використовувати маски, щоб виключити певні об’єкти з обробки.
* Однак вони не можуть безпосередньо змінити корекцію рис обличчя або видалити ефект «макіяжу» – єдиний спосіб – зменшити інтенсивність, накласти маску або повністю вимкнути алгоритм.

У результаті обличчя генерується ШІ, але його зовнішній вигляд можна лише косвено коригувати.