Apple розкривають метод швидкого та ефективного створення триденних сцен за допомогою штучного інтелекту

Apple + Гонконгський університет представили технологію LGTM – більш ефективну відтворення 3‑D сцен

Вчені з Apple у співпраці з дослідниками Гонконгського університету розробили систему під назвою LGTM (Less Gaussians, Texture More). Вона дозволяє суттєво покращити якість рендерингу тривимірних просторів високої роздільної здатності без необхідності збільшувати обчислювальні ресурси.

Як працює LGTM
1. Розділення складності

Традиційні методи відтворення 3‑D сцен, базовані на функціях Гауса або інших підходах, вимагають квадратичного зростання витрат при збільшенні роздільної здатності. LGTM «відокремлює» геометричну структуру сцени від її візуальних деталей.

2. Два етапи навчання

* Перший крок – модель будує просту геометрию (каркас) на зображеннях низької роздільної здатності.
* Другий крок – вона порівнює каркас із оригінальними високоякісними картинками, а потім навчається створювати деталізовані текстури, які накладаються поверх простого каркасу.

3. Результат

При рендерингу в роздільних здатностях 2 K і 4 К отримуємо точний результат без артефактів та «порожніх» участків, але при цьому ресурси не зростають квадратично.

Практичне значення
* VR/AR – технологія особливо корисна для систем віртуальної й розширеної реальності.
* Apple Vision Pro має сумарну роздільну здатність дисплеїв у 23 мегапікселя, що зазвичай потребує величезних обчислювальних потужностей. LGTM дозволяє відтворювати деталізовані сцени в 4K без такого зростання ресурсів, роблячи можливим більш плавну й якісну роботу.

Таким чином, LGTM представляє собою значний крок вперед у рендерингу високоякісних 3‑D сцен, зберігаючи при цьому ефективність обчислень.