Штучний інтелект продемонстрував успіхи у дослідженні рідкісних і малорозповсюджених мов

Великий мовний розрив зменшується

Нові версії штучного інтелекту (ШІ) демонструють помітний прогрес у роботі з рідкісними та малоизвестними мовами, що суттєво зменшує глобальний «мовний розрив». Це підтверджує дослідження компанії RWS, опубліковане TechRadar.

1. Що показали дослідження
- Google Gemini Pro отримав оцінку якості вище 4,5 із 5 балів за знання мови кіньяруанда – на якій говорять близько 12 млн людей у Руанді, Уганді та Демократичній Республіці Конго.

- Автори пояснюють успіх тим, що сучасні моделі опираються не лише на величезні датасети конкретної мови, а й використовують загальні статистичні закономірності усіх мов (механізм міжмовного переносу).

- Покращення у токенізаторах – системах розбиття тексту на «токени» – також сприяють більш точної роботі з рідкісними мовами.

2. Ефект «дрейфа бенчмарка»
Експерти виявили, що при переході від однієї версії моделі до наступної її можливості можуть несподівано змінюватися:

- Остання версія OpenAI GPT уступає старішим моделям у деяких задачах генерації контенту, хоча попередник була ефективнішою.

- Ефективність токенізатора може різнитися до 3,5‑раза між поколіннями; це означає, що результати попередніх тестів не завжди застосовні до нових версій.

3. Що змінюється в пріоритетах розробників
- Раніше лабораторії ШІ ставили у центр уваги продуктивність на англійській та кількох ключових мовах.

- Сучасні моделі вже успішно справляються з цими завданнями, тому увага зміщується до ширшої аудиторії: підтримка рідкісних мов стає все важнішою.

- Однак оцінка 4,5/5 не гарантує реального рівня володіння мовою; багатомовна підтримка поки що не вважається критичною.

4. Підсумок
ШІ продовжує руйнувати бар’єри між культурами та мовами. Незважаючи на те, що «покриття» рідкісних мов ще не стало обов’язковим вимогою, тенденція до більш широкого охоплення аудиторії вже помітна і, як очікують експерти, буде посилюватися в найближчі роки.