Apple навчила штучний інтелект розпізнавати невідомі рукопожаття за допомогою сигналів EMG

Apple створила модель EMBridge – розпізнавання жестів за сигналом ЕМГ

Нові дослідження компанії Apple показали, що їх штучний інтелект EMBridge може визначати рухи руки лише з електричних сигналів м’язів (ЕМГ), навіть якщо подібні жести не зустрічалися в навчальному наборі.

Що таке ЕМГ і де вона вже використовується
Електроміографія вимірює електричну активність, що виникає при скороченні м’язів.

У медицині її застосовують для діагностики та фізіотерапії, а також у протезах кінцівок.

Носимі гаджети (наприклад, окуляри Meta Ray‑Ban Display з контролером Neural Band) використовують ЕМГ для управління віртуальною реальністю.

Як навчали EMBridge
1. Дані – дослідники використали два відкритих набори:

* `emg2pose` – сигнали ЕМГ та координати рук.

* `NinaPro DB2` – аналогічний набір.

2. Два представлення – модель спочатку навчалася на двох окремих потоках:

* лише сигналів ЕМГ;

* лише даних про положення руки.

3. Синхронізація – після первинного навчання дослідники «з’єднали» потоки: компонент, що працює з ЕМГ, навчився «розуміти» інформацію з координатних даних. В результаті EMBridge зміг розпізнавати жести лише за сигналом ЕМГ.

Ускладнення задачі
* Розрізали частину другого потоку (координати) і змусили модель робити висновки лише на основі ЕМГ.

* Щоб не допускати надмірних помилок, оцінка передбачень стала менш суворою: схожі жести сприймалися як родичні, а не повністю різнородні.

* Такий підхід допоміг «структурувати» простір ознак і покращив відновлення позицій рук, яких у навчанні не було.

Перевірка та результати
* Модель протестували на тих самих наборах `emg2pose` і `NinaPro`, використовуючи їх як бенчмарки.

* EMBridge зберігає високу точність навіть при використанні лише 40 % навчальних даних.

Обмеження
Вчені підкреслюють, що ключовим перешкодою залишається доступ до наборів із парою «ЕМГ + положення руки». Такі дані поки обмежені за обсягом і не завжди доступні.