Ускладнення архівування у мережі зростають: Wayback Machine та Wikimedia стикаються із нестачею місця на жорстких дисках

Кризис зберігання даних: як підвищення цін на накопичувачі затримують найбільші архівні проекти

Накопичувачі стають все дорожчими та рідкіснішими, що ускладнює роботу тих організацій, які щодня зберігають величезний обсяг інформації з інтернету.

1. Чому ціни ростуть
* Жорсткі диски (HDD) тепер коштують в три рази дорожче попереднього рівня.
* Зростання попиту зі сторони великих корпорацій і хмарних провайдерів змусило виробників скоротити поставки, що призвело до дефіциту.

2. Як це впливає на Internet Archive
ПоказникЗначенняОбсяг сховища~210 PBайтЩоденний потік даних (Wayback Machine)~100 TBайт
* Штучний інтелект посилив навантаження: моделі тренуються на величезних датасетах, які часто беруться з архівів.
* Ідеальні накопичувачі – 28–30 TBайт HDD – майже не зустрічаються в продажу або коштують надмірно високо.
* Організація змушена шукати спонсорів і отримувати лише поради від спільноти.

3. Проблеми Wikimedia
* На платформі більше 65 мільйонів статей – це потребує великих обчислювальних ресурсів та ретельно розподіленого бюджету.
* Ускладнення виникають при:
* Закупці пам’яті і дисків;
* Доставці серверів;
* Плануванні майбутніх замовлень.

4. Ускладнення архівування
* Великі мовні моделі ШІ використовують величезні датасети, які іноді отримуються незаконно.
* Власники сайтів блокують доступ до своїх ресурсів, не розрізняючи «злочинців» і «добросовестних сервісів», що збирають дані для освіти.
* У результаті:
* Невеликі ентузіасти змушені скоротити або призупинити роботу;
* Очікування стабілізації цін на накопичувачі.

Висновок
Зростання вартості і дефіцит HDD створюють серйозні бар’єри для неприбуткових архівів. Без нових джерел фінансування та більш доступних технологій збереження історії інтернету може стати практично неможливим.