Apple навчає компактні моделі ШІ краще описувати зображення, ніж їх великі конкуренти

Apple розкриває нову технологію «RubiCap» для опису зображень

Вчені компанії Apple створили метод під назвою *RubiCap*, який дозволяє невеликим ІІ‑моделям генерувати більш точні й деталізовані описи картинок, ніж великомасштабні аналоги.

Як працює RubiCap
1. Розбір зображення

Щоб сформувати докладний текст, модель спочатку розпізнає безліч об’єктів і областей у кадрі. Це дає глибоке розуміння композиції, а не поверхневий опис.

2. Практична цінність

Такі навички корисні для навчання дочірніх ІІ‑моделей, генераторів картинок за текстом та спеціалізованих функцій (наприклад, покращення візуального контенту).

3. Проблема ресурсів

Традиційні підходи до навчання систем докладного опису потребують великих обчислювальних витрат як на початковій фазі, так і при подальшому навчанні з підкріпленням.

Експериментальна методика
- Вибір зображень – випадково відобрано 50 000 картинок із наборів *PixMoCap* та *DenseFusion‑4V‑100K*.

- Генерація описів – використані існуючі моделі комп’ютерного бачення: Google Gemini 2.5 Pro, OpenAI GPT‑5, Alibaba Qwen 2.5‑VL‑72B‑Instruct, Google Gemma‑3‑27B‑IT і Alibaba Qwen 3‑VL‑30B‑A3B‑Instruct, а також поки що навчальні моделі Apple.

- Оцінка якості – Gemini 2.5 Pro виступала в ролі експерта: вона аналізувала описи, виявляла збіги й помилки, формулювала чіткі критерії оцінки.

- Судейська оцінка – модель Qwen 2.5‑7B‑Instruct присвоювала бали за кожним критерієм і генерувала сигнал винагороди для навчальної моделі.

Результати
- Навчальна модель отримувала конкретну зворотну зв’язок, що дозволяло швидко покращувати точність описів без необхідності покладатися на єдиний «правильний» відповідь.

- В результаті Apple створила три власні моделі: RubiCap‑2B, RubiCap‑3B і RubiCap‑7B (відповідно 2, 3 та 7 мільярдів параметрів).

- При тестах за задачею опису зображень RubiCap перевершив конкурентів із 32 млрд і навіть 72 млрд параметрами. У деяких випадках RubiCap‑3B показував кращі результати, ніж RubiCap‑7B, підтверджуючи, що розмір моделі не завжди гарантує найкращу продуктивність.

Таким чином, технологія RubiCap демонструє, як можна досягти високої якості опису зображень із меншими ресурсами й більш ефективним навчанням.