Apple розробляє власного AI‑асистенту для iPhone, здатного запускати програми замість користувача

Apple розробляє компактного локального ІІ‑агента для роботи з користувацькими інтерфейсами

Apple працює над новим алгоритмом – Ferret‑UI Lite, який здатен «розуміти» інтерфейси застосунків і взаємодіяти з ними від імені користувача, але все це відбувається на самому пристрої. Модель має 3 млрд параметрів і в тестах демонструє результати, що порівнюються або навіть перевищують великі моделі до 24 рази більші.

Історія проекту
У грудні 2023 року команда з дев'яти дослідників опублікувала роботу FERRET: Refer and Ground Anything Anywhere at Any Granularity. У ній представлена мультимодальна мовна модель, що навчається на різних типах даних і здатна зв'язувати текстові описання з конкретними частинами зображення.

З того часу Apple розширила сімейство моделей Ferret:

Ferret‑UI, зокрема, вирішує одну з проблем сучасних мультимодальних великих мовних моделей (MLLM): вони погано розпізнають елементи UI. Модель додає «произвольне розділення» поверх Ferret, підвищуючи деталізацію зображень і використовуючи покращені візуальні ознаки.

Нове досягнення
Нещодавно Apple представила дві додаткові версії:

1. Ferret‑UI Lite – легка модель з 3 млрд параметрів, оптимізована для локального запуску на мобільних пристроях.
2. Ferret‑UI 2 – розширена версія, що підтримує кілька платформ і більш високе розділення скріншотів.

Головна відмінність Ferret‑UI Lite від великих серверних моделей: вона зберігає конкурентоспроможність при значно менших обчислювальних вимогах.

Чому це важливо
Більшість існуючих GUI‑агентів базується на величезних фундаментальних моделях, оскільки їх потужні можливості розумової діяльності і планування дозволяють досягати видатних результатів у навігації по графічним інтерфейсам. Однак такі моделі занадто громіздкі для виконання безпосередньо на пристрої.

Ferret‑UI Lite вирішує цю задачу, об'єднуючи:

- Множинні ключові компоненти і ідеї з навчання невеликих LLM;
- Реальні та синтетичні дані з різних областей GUI;
- Техніки динамічного кадрування й оптимізації якості сегментації інтерфейсу;
- Контрольовану тонку налаштування і навчання з підкріпленням.

У результаті отримали модель, яка практично рівна або навіть перевершує більші конкурентні GUI‑агенти у задачах низькорівневого зв'язування з елементами UI, розуміння того, що відбувається на екрані, багатоступеневого планування і самоаналізу.