Вчені використали ШІ, щоб з звичайних смарт-годин зробити пристрій для точної вимірювань рухів руки

Нові годинники‑помічники від Корнельського університету та KAIST

Вчені з Корнельського університету (США) і Корецького інституту передових технологій (KAIST) створили систему WatchHand, яка перетворює звичайні смарт‑годинники у повноцінний трекер рухів руки. Система використовує лише вбудований динамік та мікрофон годинника, не потребуючи зовнішніх датчиків.

Як працює WatchHand
1. Акустичний сигнал – годинник випромінює неслухомі звукові хвилі.
2. Ехо‑побудова – мікрофон фіксує відбиті сигнали і формує ехо‑протокол.
3. Обробка на пристрої – алгоритм машинного навчання, що працює локально, перетворює протокол у координати руки за трьома осями.

Таким чином, система обробляє дані безпосередньо на годиннику, забезпечуючи конфіденційність і мінімальну затримку.

Переваги
Показник WatchHand | Традиційні рішення | Не потребує зовнішніх датчиків (камери, IMU‑датчики) | Підходить для повсякденного використання | Масштабованість на мільйони пристроїв | Локальна обробка даних
✔ | ❌ | ✔ | ❌ | ✔ | ❌

Тестування
- Учасники – 40 осіб.
- Дані – близько 36 годин жестів, зібраних у чотирьох незалежних експериментах.
- Платформи – кілька моделей смарт‑годинників.
- Сценарії – різні положення руки та шумові умови.

Результати показали надійне відстежування рухів пальців і обертання зап'ястя навіть у складних умовах.

Перспективи застосування
* Управління комп’ютером і програмами через жести.
* Взаємодія з AR/VR‑системами.
* Допомога людям із обмеженою рухливістю або мовленням.

Аспірант KAIST Дживан Кім зазначає: «Якщо пристрій має динамік і мікрофон, наш підхід застосовний».

Обмеження та майбутнє
* На даний момент працює лише на Android‑пристроях.
* Точність знижується при руху користувача (наприклад, під час ходьби).

Команда активно розробляє покращення для мобільних сценаріїв.

Результати дослідження будуть представлені на конференції ACM CHI 2026 щодо людського фактора у обчислювальних системах.

Ключова ідея

Доцент Корнельського університету Ченг Чжан підсумував: «WatchHand демонструє, як просте програмне оновлення може перетворити мільйони існуючих годинників у інтелектуальні платформи для відстеження поведінки. Це відкриває шлях до нових способів взаємодії з цифровими пристроями без клавіатур і мишей».