Децентралізація зберігання: від концептуальної спекуляції до практичного впровадження

Зберігання колись було однією з популярних ніш у криптоіндустрії. Filecoin, як провідний проект минулого бичачого ринку, на деякий час мав капіталізацію, що перевищувала 10 мільярдів доларів. Arweave з пропозицією постійного зберігання досягала максимуму в 3,5 мільярда доларів. Проте, у міру того, як доступність холодного зберігання даних стала під сумнівом, перспективи розвитку децентралізованого зберігання опинилися під загрозою. Лише з появою Walrus знову було відновлено увагу, а проект Shelby, запущений Aptos і Jump Crypto, ще більше підняв зберігання гарячих даних на новий рівень. У цій статті буде проведено аналіз розвитку чотирьох проектів: Filecoin, Arweave, Walrus і Shelby, а також розглянуто еволюцію децентралізованого зберігання та спробу дати відповідь на запитання: скільки часу ще потрібно для справжнього поширення децентралізованого зберігання?

Filecoin: Ім'я зберігання, суть видобутку

Filecoin є одним із перших блокчейн-проєктів, що виникли, його розвиток зосереджений на децентралізації. Filecoin поєднує зберігання та децентралізацію, піднімаючи питання довіри до централізованих постачальників послуг зберігання даних. Проте жертви, зроблені для досягнення децентралізації, також стали болючими моментами, які потім намагалися вирішити такі проєкти, як Arweave та Walrus. Щоб зрозуміти, чому Filecoin по суті є майнінговою монетою, потрібно зрозуміти об'єктивні обмеження його базової технології IPFS у обробці гарячих даних.

IPFS: Децентралізація архітектури передачі

IPFS( міжзоряна файлова система) з'явилася приблизно у 2015 році, її мета - революціонізувати традиційний протокол HTTP через адресацію контенту. Але найбільшим недоліком IPFS є дуже повільна швидкість отримання. У той час як традиційні служби даних можуть досягати мілісекундної реакції, отримання файлу через IPFS все ще займає кілька секунд, що серйозно обмежує його реальне використання.

Основний P2P-протокол на базі IPFS переважно підходить для "холодних даних", тобто статичного контенту, який рідко змінюється, такого як відео, зображення та документи. Однак при обробці динамічних веб-сторінок, онлайн-ігор або додатків штучного інтелекту, P2P-протокол не має очевидних переваг у порівнянні з традиційними CDN.

Хоча IPFS сам по собі не є блокчейном, але його спрямований ациклічний граф (DAG), що використовується в дизайні, сильно відповідає багатьом публічним блокчейнам та протоколам Web3, що робить його природно придатним як базову конструкцію для блокчейну. Тому, навіть якщо йому бракує практичної цінності, як базовій конструкції для розповіді про блокчейн це вже достатньо. Ранні проекти потребували лише працездатної конструкції, щоб розпочати грандіозні плани, але з розвитком Filecoin обмеження, які приносить IPFS, почали заважати його просуванню.

Логіка монет для зберігання під зовнішнім покриттям

IPFS спочатку передбачав, що користувачі, зберігаючи дані, також можуть стати частиною мережі зберігання. Але в умовах браку економічних стимулів користувачам важко активно брати участь у цій системі, не кажучи вже про те, щоб стати активними вузлами зберігання. Це означає, що більшість людей лише зберігатимуть файли в IPFS, але не вноситимуть свій простір зберігання або не зберігатимуть файли інших. Саме в такому контексті з'явився Filecoin.

Економічна модель токенів Filecoin в основному включає три ролі: користувачі сплачують збори за зберігання даних; шахтарі зберігання отримують винагороду у вигляді токенів за зберігання даних користувачів; шахтарі пошуку надають дані, коли користувачі їх потребують, і отримують винагороду.

Ця модель має потенційний простір для шахрайства. Майнери зберігання можуть після надання зберігання заповнити сміттєвими даними, щоб отримати винагороду. Оскільки ці сміттєві дані не будуть запитуватись, навіть якщо вони будуть втрачені, це не спровокує механізм покарання. Це дозволяє майнерам зберігання видаляти сміттєві дані та повторювати цей процес. Консенсус доказу копіювання Filecoin може лише гарантувати, що дані користувача не були таємно видалені, але не може зупинити майнерів від заповнення сміттєвими даними.

Функціонування Filecoin значною мірою залежить від постійних інвестицій майнерів у токеноміку, а не від реального попиту кінцевих користувачів на дистрибутивне зберігання. Незважаючи на те, що проект продовжує ітерації, на поточному етапі побудова екосистеми Filecoin більше відповідає визначенню "логіки майнінгу", ніж "застосуванню" в проектах зберігання.

Arweave: Довгострокова стратегія: переваги та недоліки

Якщо мета Filecoin полягає в створенні стимульованої, перевіреної децентралізованої "хмари даних", то Arweave йде в іншому напрямку в сфері зберігання: надаючи даним можливість постійного зберігання. Arweave не намагається створити розподілену обчислювальну платформу, вся її система побудована на одній основній гіпотезі - важливі дані повинні зберігатися одноразово і назавжди зберігатися в мережі. Цей екстремальний довгостроковий підхід робить Arweave радикально відмінним від Filecoin у механіках, моделях стимулів, вимогах до апаратного забезпечення та в нарративній перспективі.

Arweave використовує біткойн як об'єкт навчання, намагаючись постійно оптимізувати мережу постійного зберігання протягом тривалих періодів у роках. Arweave не переймається маркетингом, а також не цікавиться конкурентами та тенденціями ринку. Він просто зосереджується на ітерації архітектури мережі, навіть якщо ніхто не звертає на це уваги, адже саме це є сутністю команди розробників Arweave: довгостроковість. Завдяки довгостроковості Arweave користувався популярністю під час минулого бичачого ринку; також завдяки довгостроковості, навіть опинившись у низькій точці, Arweave все ще може пережити кілька раундів бичачого та ведмежого ринку. Лише майбутнє децентралізоване зберігання покаже, чи залишиться Arweave на своєму місці. Цінність існування постійного зберігання може бути доведена лише часом.

Від версії 1.5 до останньої версії 2.9, хоча Arweave втратив увагу ринку, але продовжував працювати над тим, щоб дозволити більшій кількості майнерів брати участь у мережі з мінімальними витратами, і стимулювати майнерів максимально зберігати дані, постійно підвищуючи загальну стійкість мережі. Arweave добре усвідомлює, що не відповідає ринковим уподобанням, тому обрав обережний шлях, не обіймаючи спільноту майнерів, екосистема повністю застигла, з мінімальними витратами оновлюючи основну мережу, постійно знижуючи апаратні бар'єри без шкоди для безпеки мережі.

Огляд шляхів оновлення 1.5-2.9

Версія Arweave 1.5 виявила вразливість, за якої майнери можуть покладатися на накопичення GPU, а не на реальне зберігання, щоб оптимізувати ймовірність створення блоку. Щоб стримати цю тенденцію, у версії 1.7 був введений алгоритм RandomX, який обмежує використання спеціалізованих потужностей, вимагаючи участі універсальних ЦП в майнінгу, тим самим зменшуючи централізацію потужностей.

Версія 2.0 використовує SPoA, перетворюючи доказ даних на компактний шлях структури дерева Меркла та впроваджуючи транзакції формату 2 для зменшення навантаження на синхронізацію. Ця архітектура зменшує тиск на мережеву пропускну здатність і значно підвищує здатність узгодження вузлів. Проте деякі майнери все ще можуть уникати відповідальності за реальне володіння даними за допомогою стратегії централізованих швидкісних сховищ.

Щоб виправити цю похибку, версія 2.4 запроваджує механізм SPoRA, який вводить глобальний індекс та повільний хеш рандомного доступу, вимагуючи, щоб майнери повинні справді володіти блоками даних, щоб брати участь у ефективному видобутку блоків, що механічно зменшує ефект накопичення обчислювальної потужності. В результаті, майнери почали звертати увагу на швидкість доступу до зберігання, що сприяло застосуванню SSD та високошвидкісних пристроїв читання та запису. Версія 2.6 вводить контроль за ритмом видобутку блоків за допомогою хеш-ланцюга, що збалансовує граничну корисність високопродуктивних пристроїв, надаючи рівний простір для участі середніх та малих майнерів.

Наступні версії далі зміцнюють мережеву співпрацю та різноманітність зберігання: 2.7 додає механізм спільного видобутку та майнінгових пулів, підвищуючи конкурентоспроможність малих майнерів; 2.8 представляє механізм композитної упаковки, що дозволяє великим об'ємам низькошвидкісних пристроїв гнучко брати участь; 2.9 вводить новий процес упаковки у форматі replica_2_9, значно підвищуючи ефективність і зменшуючи залежність від обчислень, завершуючи замкнене коло моделі видобутку, орієнтованої на дані.

В цілому, шлях оновлення Arweave чітко демонструє його довгострокову стратегію, орієнтовану на зберігання: постійно борючись з тенденцією концентрації обчислювальної потужності, знижує бар'єри для участі, забезпечуючи можливість тривалої роботи протоколу.

Walrus: Гучні розмови про зберігання гарячих даних чи інновації?

Дизайнерська концепція Walrus кардинально відрізняється від Filecoin і Arweave. Вихідна точка Filecoin полягає у створенні децентралізованої верифікованої системи зберігання, ціною якої є зберігання холодних даних; мета Arweave — побудувати ончейн бібліотеку Олександра, яка може зберігати дані назавжди, ціною обмежених випадків використання; тоді як ядром Walrus є оптимізація ефективності витрат на зберігання гарячих даних.

Магічно змінений код виправлення: інновація витрат чи нове вино у старій пляшці?

У дизайні витрат на зберігання Walrus вважає, що витрати на зберігання Filecoin і Arweave є нерозумними. Обидві ці системи використовують повну архітектуру копіювання, основна перевага якої полягає в тому, що кожен вузол має повну копію, що забезпечує високу стійкість до помилок і незалежність між вузлами. Ця архітектура може гарантувати, що навіть якщо частина вузлів офлайн, мережа все ще має доступність даних. Однак це також означає, що системі потрібні кілька копій для підтримки надійності, що підвищує витрати на зберігання. Особливо в дизайні Arweave механізм консенсусу сам по собі заохочує вузли до редундантного зберігання, щоб підвищити безпеку даних. У порівнянні з цим, Filecoin має більшу гнучкість у контролі витрат, але ціною є те, що частина низьковитратного зберігання може мати вищий ризик втрати даних. Walrus намагається знайти баланс між обома, його механізм контролює витрати на копіювання, одночасно підвищуючи доступність через структуровану редунданцію, створюючи новий компроміс між доступністю даних і ефективністю витрат.

Redstuff, створений Walrus, є ключовою технологією для зменшення надмірності вузлів, він походить з кодування Reed-Solomon(RS). Код RS є традиційним алгоритмом кодування з виправленням помилок, який дозволяє подвоїти набір даних шляхом додавання надмірних фрагментів для відновлення оригінальних даних. Від CD-ROM до супутникового зв'язку і до QR-кодів, він широко застосовується в повсякденному житті.

Кодування з корекцією помилок дозволяє користувачам отримати блок даних (, наприклад 1MB), а потім "розширити" його до 2MB, де додаткові 1MB є спеціальними даними для корекції помилок. Якщо будь-який байт у блоці втрачається, користувач може легко відновити ці байти за допомогою коду. Навіть якщо втрачається до 1MB даних, весь блок все ще можна відновити. Та сама технологія дозволяє комп'ютерам зчитувати всі дані з пошкоджених CD-ROM.

Наразі найпоширенішим є кодування RS. Реалізація починається з k інформаційних блоків, створюється поліном, і оцінюється в різних x-координатах для отримання кодувального блоку. Використовуючи RS-коди виправлення помилок, ймовірність випадкової втрати великих обсягів даних є дуже низькою.

Наприклад: розділити файл на 6 блоків даних і 4 контрольних блоки, всього 10 частин. Досить зберегти будь-які 6 частин, щоб повністю відновити початкові дані.

Переваги: висока стійкість до помилок, широко використовується в CD/DVD, безвідмовних жорстких дискових масивах (RAID), а також у системах хмарного зберігання (, таких як Azure Storage, Facebook F4).

Недоліки: складність обчислень декодування, висока витрата; не підходить для сценаріїв з частими змінами даних. Тому зазвичай використовується для відновлення та управління даними в централізованому середовищі поза блокчейном.

У рамках децентралізації, Storj і Sia адаптували традиційне RS кодування до реальних потреб розподіленої мережі. Walrus також на цій основі запропонував свій варіант - алгоритм кодування RedStuff, щоб реалізувати більш дешевий і гнучкий механізм резервного зберігання.

Яка головна особливість Redstuff? Завдяки вдосконаленню алгоритму кодування з виправленням помилок, Walrus може швидко та надійно кодувати неструктуровані блоки даних у менші фрагменти, які зберігаються в мережі зберігання вузлів. Навіть якщо втрачається до двох третин фрагментів, частину фрагментів можна швидко використати для реконструкції оригінального блоку даних. Це стає можливим за умови, що коефіцієнт реплікації становить лише від 4 до 5 разів.

Отже, визначення Walrus як легкого протоколу надмірності та відновлення, перепроектованого навколо децентралізованої сцени, є доцільним. На відміну від традиційних кодів з корекцією помилок (, таких як Reed-Solomon ), RedStuff більше не прагне до суворої математичної узгодженості, а натомість проводить реалістичний баланс між розподілом даних, перевіркою зберігання та витратами на обчислення. Ця модель відмовляється від механізму миттєвого декодування, необхідного для централізованого планування, і переходить до перевірки наявності конкретних копій даних через Proof на ланцюзі, щоб адаптуватися до більш динамічної та маргіналізованої мережевої структури.

Основна концепція дизайну RedStuff полягає в поділі даних на два типи: основні фрагменти та вторинні фрагменти. Основні фрагменти використовуються для відновлення початкових даних, їх генерація та розподіл підлягають суворим обмеженням, поріг відновлення становить f+1, і потрібно 2f+1 підписів як підтвердження доступності; вторинні фрагменти створюються через прості операції, такі як XOR-комбінації, і їхня мета - забезпечити еластичну стійкість до помилок, підвищуючи загальну надійність системи. Ця структура в основному знижує вимоги до узгодженості даних - дозволяючи різним вузлам короткочасно зберігати різні версії даних, підкреслюючи практичний шлях "остаточної узгодженості". Хоча це подібно до м'яких вимог щодо зворотних блоків у системах, таких як Arweave, знижуючи навантаження на мережу.