Xiaomi запустила OmniVoice — відкриту модель ШІ, здатну озвучувати тексти майже на всіх мовах і копіювати голоси.

Xiaomi представила відкритий ІІ‑модуль OmniVoice

Компанія оголосила про запуск моделі штучного інтелекту OmniVoice, яка перетворює текст у мову. Окрім синтезу голосу на сотнях мов, модель здатна клонувати голос і генерувати вимову з користувацькими налаштуваннями.

Що нового в OmniVoice?
Показник | Опис
---|---
Мови | Підтримка більш ніж 200 мов, включаючи рідкісні та малообучувані. Навіть при наявності менш ніж 10 годин даних модель видає мову «майже на будь-якій мові».
Якість | У тестах по 102 мовах розбірливість мови була порівнянна з людською, а в деяких випадках перевищувала її. На 24 мовах модель переважила кілька комерційних систем за схожістю та розбірливістю.
Архітектура | Спрощена двостороння трансформер‑система без проміжних модулів прогнозування токенів. Це скорочує час навчання до одного дня на 100 000 годин даних і підвищує швидкість інференсу (до 40× реального часу в PyTorch).
Технології | • «Випадкове приховування акустичних кодів» – прискорює навчання.
• Підключення великої мовної моделі при попередньому навчанні покращує вимову та розбірливість.

Практичні можливості
1. Клонування голосу
- Генерація мови за описаними характеристиками (вік, стать, тон, акцент, діалект).
- Можливість створення шепоту та інших стилістичних варіантів без еталонного аудіо.

2. Обробка вихідних записів
- Видалення шуму і витяг чистих характеристик голосу навіть з недосконалих файлів.

3. Управління інтонацією
- Додавання вдихів, сміху та інших нюансів для більш природного звучання.

4. Точна корекція вимови
- Ручне налаштування складних звуків, наприклад багатозвучних китайських ієрогліфів або англомовних власних імен.

Висновки
OmniVoice представляє собою конкурентоспроможну альтернативу існуючим комерційним системам синтезу мови. Завдяки простому дизайну, високій швидкості навчання та інференсу, а також широким можливостям кастомізації, модель готова до інтеграції в споживчі застосунки і сервіси.