Запуск ІІ-моделі на старому PDP‑11: ентузіаст використовував 6 МГц процесор і 64 КБ оперативної пам’яті

Ветеран Microsoft демонструє роботу трансформера на старому комп’ютері

*Дейв Пламмер (Dave Plummer) – відомий розробник Windows,*

*показує, що сучасні ІІ‑моделі можна навчати навіть на обладнанні десятилітньої давності.*

Що було зроблено
- Обладнання: PDP‑11 / 44, 47‑річний комп’ютер з процесором 6 МГц і 64 КБ ОЗУ.

- Модель: «Attention 11» – трансформерна мережа, написана на асемблері PDP‑11 Дам’єном Буром (Damien Buret).

- Завдання навчання: побудувати зворотну послідовність із восьми чисел.

Моделі не потрібно запам’ятовувати приклади; вона має вивчити правило «перевертання» послідовності.

Як це працює
1. Ініціалізація – модель починає з довільних ваг, точність майже нульова.

2. Навчання – на кожному кроці виконується прямий прохід (8‑бітна фіксована точка) і оновлення ваг.

3. Поступове засвоєння патерну – після кількох сотень ітерацій механізм уваги «виявляє» правило, а модель переходить від здогадування до реального знання.

> “Ми спостерігаємо спрощену анатомію самого навчання… машина в результаті перетинає невидиму межу — від здогадування до знання.” – Пламмер

Результати
- Точність: 100 % на задачі зворотної послідовності.

- Швидкість: близько 350 кроків навчання, що зайняло ~3,5 хвилини на PDP‑11/44 із кеш-пам’яттю.

Що це означає для сучасного ІІ
Пламмер підкреслює, що фундаментальні принципи навчання – повторювані арифметичні операції та корекція помилок – повністю реалізовані навіть у такій простої системі.

«Ця стара машина не мислить містично; вона просто оновлює кілька тисяч чисел. Суть сучасного ІІ – масштабування цього процесу.»

Таким чином, автор довів, що базовий механізм трансформерів залишається тим самим, незалежно від того, на якому обладнанні вони працюють.