Децентрализация хранения: от концептуальной спекуляции до практической реализации
Хранение когда-то было одной из популярных ниш в индустрии блокчейн. Filecoin, как ведущий проект последнего бычьего рынка, на какое-то время имел рыночную капитализацию свыше 10 миллиардов долларов. Arweave, с его акцентом на постоянное хранение, достигал максимальной капитализации в 3,5 миллиарда долларов. Однако с учетом сомнений в доступности хранения холодных данных, перспективы развития Децентрализации хранения оказались под угрозой. До появления Walrus, который вновь привлек внимание, а проект Shelby, запущенный Aptos и Jump Crypto, действительно поднял хранение горячих данных на новые высоты. В этой статье будет проанализировано развитие четырех проектов: Filecoin, Arweave, Walrus и Shelby, изучена эволюция Децентрализации хранения и попытка ответить на вопрос: сколько времени еще потребуется для настоящего распространения Децентрализации хранения?
Filecoin: имя хранения, суть майнинга
Filecoin — один из первых возникших проектов на блокчейне, его направление развития сосредоточено на Децентрализации. Filecoin сочетает хранение с Децентрализацией и поднимает вопрос доверия к централизованным провайдерам услуг хранения данных. Однако жертвы, сделанные ради достижения Децентрализации, также стали важными проблемами, которые позже пытались решить проекты, такие как Arweave и Walrus. Чтобы понять, почему Filecoin по сути является майнинговой монетой, необходимо осознать объективные ограничения его базовой технологии IPFS в обработке горячих данных.
IPFS:Децентрализация架构的传输瓶颈
IPFS( Межзвёздная файловая система) была представлена около 2015 года, с целью реформировать традиционный протокол HTTP через адресацию по содержимому. Однако главный недостаток IPFS заключается в крайне медленной скорости получения. В то время как традиционные службы передачи данных могут обеспечить отклик на уровне миллисекунд, для получения файла через IPFS все еще требуется несколько секунд, что серьезно ограничивает его практическое применение.
Основной P2P-протокол IPFS в первую очередь подходит для "холодных данных", то есть для статического контента, который не часто изменяется, такого как видео, изображения и документы. Однако при обработке динамических веб-страниц, онлайн-игр или приложений искусственного интеллекта, P2P-протокол не имеет явных преимуществ по сравнению с традиционными CDN.
Хотя IPFS сам по себе не является блокчейном, его направленный ациклический граф (DAG) и дизайн сильно соответствуют многим публичным блокчейнам и протоколам Web3, что делает его естественно подходящим в качестве базовой строительной рамки для блокчейна. Поэтому, даже если не хватает практической ценности, как базовая структура для передачи блокчейн-нарратива, этого достаточно. Ранние проекты могли начинать свои амбициозные планы с работающей структуры, но с развитием Filecoin ограничения, которые приносит IPFS, начинают мешать его продвижению.
Логика майнинг-монет под оболочкой хранения
IPFS изначально задумывался так, чтобы пользователи могли стать частью сети хранения данных, одновременно сохраняя свои данные. Однако в отсутствие экономических стимулов пользователям трудно активно участвовать в этой системе, не говоря уже о том, чтобы стать активными узлами хранения. Это означает, что большинство людей просто загружает файлы в IPFS, не предоставляя свое пространство для хранения или не храня другие файлы. Именно в таком контексте появился Filecoin.
Экономическая модель токенов Filecoin в основном включает три роли: пользователи платят за хранение данных; майнеры хранилищ получают вознаграждение токенами за хранение данных пользователей; майнеры поиска предоставляют данные по запросу пользователей и получают вознаграждение.
Эта модель содержит потенциальные возможности для мошенничества. Хранители данных могут после предоставления пространства для хранения заполнять его мусорными данными, чтобы получить вознаграждение. Поскольку эти мусорные данные не подлежат извлечению, потеря их не активирует механизм наказания. Это позволяет хранителям данных удалять мусорные данные и повторять этот процесс. Консенсус на основе доказательства копии в Filecoin может лишь гарантировать, что данные пользователей не были удалены без ведома, но не может остановить хранителей данных от заполнения мусорными данными.
Работа Filecoin в значительной степени зависит от постоянных вложений майнеров в токеномику, а не от реального спроса конечных пользователей на распределенное хранение. Несмотря на то, что проект продолжает развиваться, на текущем этапе построение экосистемы Filecoin больше соответствует определению "логики майнинга", чем "приложениям" в проектах хранения.
Arweave: Долгосрочная стратегия: плюсы и минусы
Если цель Filecoin состоит в том, чтобы создать стимулирующую, проверяемую Децентрализация "оболочку данных", то Arweave идет в совершенно противоположном направлении в сфере хранения: предоставляя данные с постоянной способностью хранения. Arweave не пытается создать распределенную вычислительную платформу, вся его система строится на одной ключевой гипотезе - важные данные должны храниться один раз и навсегда оставаться в сети. Этот крайний долгосрочный подход делает Arweave совершенно отличным от Filecoin по механике, модели стимулов, требованиям к оборудованию и нарративной стороне.
Arweave изучает Биткойн и пытается постоянно оптимизировать сеть постоянного хранения на долгих периодах времени, исчисляемых годами. Arweave не заботится о маркетинге, не интересуется конкурентами и рыночными трендами. Он просто сосредоточен на итерации сетевой архитектуры, даже если никто не интересуется, что и является сутью команды разработчиков Arweave: долгосрочный подход. Благодаря долгосрочному подходу Arweave был популярен на прошлой бычьей рынке; и из-за долгосрочного подхода, даже если он упадет в низы, Arweave все равно может пережить несколько раундов бычьего и медвежьего рынков. Но останется ли у Arweave место в будущем децентрализованном хранении? Ценность существования постоянного хранения может быть доказана только временем.
С версии 1.5 до последней версии 2.9, хотя Arweave потерял рыночное внимание, он продолжает стремиться к тому, чтобы более широкие группы майнеров могли участвовать в сети с минимальными затратами и поощрять майнеров максимально хранить данные, постоянно улучшая устойчивость всей сети. Arweave хорошо осознает, что не соответствует рыночным предпочтениям, поэтому выбирает консервативный путь, не обнимая сообщество майнеров, экосистема полностью остановилась, с минимальными затратами обновляется основная сеть, постоянно снижая аппаратные требования без ущерба для безопасности сети.
Обзор пути обновления 1.5-2.9
Версия Arweave 1.5 выявила уязвимость, позволяющую майнерам полагаться на стек GPU вместо реального хранения для оптимизации вероятности создания блока. Чтобы сдержать эту тенденцию, версия 1.7 вводит алгоритм RandomX, ограничивающий использование специализированной вычислительной мощности и требующий участия универсальных CPU в майнинге, что ослабляет централизацию вычислительной мощности.
Версия 2.0 использует SPoA, переводя доказательства данных в упрощенный путь структуры дерева Меркла, и вводит транзакции формата 2, чтобы уменьшить нагрузку на синхронизацию. Эта архитектура облегчает давление на сетевую пропускную способность и значительно усиливает способность узлов к сотрудничеству. Тем не менее, некоторые майнеры все еще могут избежать ответственности за реальное хранение данных с помощью стратегии централизованных высокоскоростных хранилищ.
Для исправления этого отклонения версия 2.4 внедрила механизм SPoRA, который вводит глобальный индекс и медленный хэш для случайного доступа, требуя от майнеров реального владения блоками данных для участия в эффективном создании блоков, тем самым ослабляя эффект накопления вычислительной мощности. В результате майнеры начали обращать внимание на скорость доступа к хранилищу, что привело к увеличению применения SSD и высокоскоростных устройств чтения и записи. В версии 2.6 введена контроль хэш-цепочки для регулирования темпа создания блоков, что сбалансировало предельную эффективность высокопроизводительных устройств и обеспечило справедливое участие для мелких и средних майнеров.
В последующих версиях будет дополнительно усилена способность сетевого сотрудничества и разнообразие хранения: 2.7 добавляет механизмы совместного майнинга и майнинг-пулов, повышая конкурентоспособность мелких майнеров; 2.8 вводит механизм композитной упаковки, позволяя устройствам с большой ёмкостью и низкой скоростью гибко участвовать; 2.9 вводит новый процесс упаковки в формате replica_2_9, значительно повышая эффективность и снижая зависимость от вычислений, завершая замкнутый цикл модели данных, ориентированной на майнинг.
В общем, путь обновления Arweave четко демонстрирует его долгосрочную стратегию, ориентированную на хранение: постоянно противодействуя тенденции концентрации вычислительной мощности, он продолжает снижать барьеры для участия, обеспечивая возможность долгосрочной работы протокола.
Walrus: хайп или инновация в горячем хранении данных?
Дизайн Walrus радикально отличается от Filecoin и Arweave. Исходной точкой Filecoin является создание децентрализованной и проверяемой системы хранения, ценой которой является хранение холодных данных; целью Arweave является создание цепочки, где данные могут храниться постоянно, ценой которой является ограниченное количество сценариев применения; в то время как ядром Walrus является оптимизация затрат на хранение горячих данных.
Модифицированный код исправления и уничтожения: инновации в затратах или старая бутылка с новым вином?
В дизайне затрат на хранение Walrus считает, что расходы на хранение Filecoin и Arweave неразумны. Оба последних используют полную архитектуру копирования, основное преимущество которой заключается в том, что каждый узел имеет полную копию, что обеспечивает высокую устойчивость к сбоям и независимость между узлами. Эта архитектура гарантирует, что даже если некоторые узлы отключены, сеть все равно обладает доступностью данных. Однако это также означает, что системе требуется многократное резервирование для поддержания устойчивости, что увеличивает затраты на хранение. Особенно в дизайне Arweave механизм консенсуса сам по себе поощряет узлы к резервному хранению, чтобы повысить безопасность данных. В отличие от этого, Filecoin более гибок в контроле затрат, но ценой этого является то, что часть недорогого хранения может иметь более высокий риск потери данных. Walrus пытается найти баланс между ними; его механизм контролирует затраты на копирование, одновременно увеличивая доступность с помощью структурированного резервирования, создавая новый компромисс между доступностью данных и эффективностью затрат.
Redstuff, созданный Walrus, является ключевой технологией для снижения избыточности узлов, он основан на кодировании Reed-Solomon ( RS ). Кодирование RS — это традиционный алгоритм кодирования с исправлением ошибок, который позволяет удваивать набор данных, добавляя избыточные фрагменты, для восстановления исходных данных. От CD-ROM до спутниковой связи и QR-кодов, он широко используется в повседневной жизни.
Кодирование с удалением позволяет пользователю получить блок данных ( размером 1 МБ ), а затем "увеличить" его до 2 МБ, где дополнительные 1 МБ являются специальными данными для кодирования с удалением. Если любой байт в блоке потерян, пользователь может легко восстановить эти байты с помощью кода. Даже если потеряно до 1 МБ данных, весь блок все равно может быть восстановлен. Та же технология позволяет компьютерам считывать все данные с поврежденного CD-ROM.
В настоящее время наиболее часто используется кодирование РС. Способ реализации заключается в том, чтобы начать с k информационных блоков, построить связанные многочлены и оценить их в различных координатах x, чтобы получить кодовые блоки. Используя коды РС, вероятность случайной выборки потери больших объемов данных очень мала.
Пример: разделите файл на 6 данных и 4 контрольных блока, всего 10 частей. Достаточно сохранить любые 6 частей, чтобы полностью восстановить исходные данные.
Преимущества: высокая устойчивость к ошибкам, широко применяется в CD/DVD, резервных дисках с защитой от сбоев (RAID), а также в облачных системах хранения (, таких как Azure Storage, Facebook F4).
Недостатки: сложность вычисления декодирования, высокие накладные расходы; не подходит для сценариев с частыми изменениями данных. Поэтому обычно используется для восстановления и управления данными в централизованной среде вне цепочки.
В условиях Децентрализации, Storj и Sia адаптировали традиционное RS-кодирование для удовлетворения реальных потребностей распределенной сети. Walrus на этой основе также предложил свой вариант - алгоритм кодирования RedStuff, чтобы обеспечить более низкие затраты и более гибкий механизм резервного хранения.
Какова главная особенность Redstuff? Благодаря улучшенному алгоритму кодирования с коррекцией ошибок, Walrus может быстро и надежно кодировать неструктурированные блоки данных в более мелкие фрагменты, которые распределенно хранятся в сети узлов хранения. Даже если потеряно до двух третей фрагментов, оригинальный блок данных можно быстро восстановить с использованием части фрагментов. Это стало возможным при сохранении коэффициента репликации всего лишь от 4 до 5 раз.
Поэтому разумно определить Walrus как легковесный протокол избыточности и восстановления, заново спроектированный вокруг Децентрализации. В отличие от традиционных кодов исправления ошибок (, таких как Reed-Solomon ), RedStuff больше не стремится к строгой математической согласованности, а вместо этого проводит реалистичные компромиссы в отношении распределения данных, проверки хранения и вычислительных затрат. Эта модель отказывается от механизма мгновенной декодировки, необходимого для централизованного планирования, и вместо этого использует Proof на цепочке для проверки того, имеют ли узлы определенные копии данных, чтобы адаптироваться к более динамичной и маргинализированной сетевой структуре.
Основной концепцией дизайна RedStuff является разделение данных на два типа: основные фрагменты и второстепенные фрагменты. Основные фрагменты используются для восстановления исходных данных, их создание и распределение подлежат строгим ограничениям, порог восстановления составляет f + 1, и требуется 2f + 1 подписей в качестве подтверждения доступности; второстепенные фрагменты создаются с помощью простых операций, таких как XOR-комбинации, и предназначены для обеспечения гибкой отказоустойчивости, повышения общей надежности системы. Эта структура по сути снижает требования к согласованности данных - позволяет различным узлам временно хранить разные версии данных, подчеркивая практический путь "конечной согласованности". Хотя это похоже на более свободные требования к обратным блокам в системах, таких как Arweave, это снижает нагрузку на сеть.
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
Эволюция децентрализованного хранения: от Filecoin до технологической итерации и отраслевых инсайтов Shelby
Децентрализация хранения: от концептуальной спекуляции до практической реализации
Хранение когда-то было одной из популярных ниш в индустрии блокчейн. Filecoin, как ведущий проект последнего бычьего рынка, на какое-то время имел рыночную капитализацию свыше 10 миллиардов долларов. Arweave, с его акцентом на постоянное хранение, достигал максимальной капитализации в 3,5 миллиарда долларов. Однако с учетом сомнений в доступности хранения холодных данных, перспективы развития Децентрализации хранения оказались под угрозой. До появления Walrus, который вновь привлек внимание, а проект Shelby, запущенный Aptos и Jump Crypto, действительно поднял хранение горячих данных на новые высоты. В этой статье будет проанализировано развитие четырех проектов: Filecoin, Arweave, Walrus и Shelby, изучена эволюция Децентрализации хранения и попытка ответить на вопрос: сколько времени еще потребуется для настоящего распространения Децентрализации хранения?
Filecoin: имя хранения, суть майнинга
Filecoin — один из первых возникших проектов на блокчейне, его направление развития сосредоточено на Децентрализации. Filecoin сочетает хранение с Децентрализацией и поднимает вопрос доверия к централизованным провайдерам услуг хранения данных. Однако жертвы, сделанные ради достижения Децентрализации, также стали важными проблемами, которые позже пытались решить проекты, такие как Arweave и Walrus. Чтобы понять, почему Filecoin по сути является майнинговой монетой, необходимо осознать объективные ограничения его базовой технологии IPFS в обработке горячих данных.
IPFS:Децентрализация架构的传输瓶颈
IPFS( Межзвёздная файловая система) была представлена около 2015 года, с целью реформировать традиционный протокол HTTP через адресацию по содержимому. Однако главный недостаток IPFS заключается в крайне медленной скорости получения. В то время как традиционные службы передачи данных могут обеспечить отклик на уровне миллисекунд, для получения файла через IPFS все еще требуется несколько секунд, что серьезно ограничивает его практическое применение.
Основной P2P-протокол IPFS в первую очередь подходит для "холодных данных", то есть для статического контента, который не часто изменяется, такого как видео, изображения и документы. Однако при обработке динамических веб-страниц, онлайн-игр или приложений искусственного интеллекта, P2P-протокол не имеет явных преимуществ по сравнению с традиционными CDN.
Хотя IPFS сам по себе не является блокчейном, его направленный ациклический граф (DAG) и дизайн сильно соответствуют многим публичным блокчейнам и протоколам Web3, что делает его естественно подходящим в качестве базовой строительной рамки для блокчейна. Поэтому, даже если не хватает практической ценности, как базовая структура для передачи блокчейн-нарратива, этого достаточно. Ранние проекты могли начинать свои амбициозные планы с работающей структуры, но с развитием Filecoin ограничения, которые приносит IPFS, начинают мешать его продвижению.
Логика майнинг-монет под оболочкой хранения
IPFS изначально задумывался так, чтобы пользователи могли стать частью сети хранения данных, одновременно сохраняя свои данные. Однако в отсутствие экономических стимулов пользователям трудно активно участвовать в этой системе, не говоря уже о том, чтобы стать активными узлами хранения. Это означает, что большинство людей просто загружает файлы в IPFS, не предоставляя свое пространство для хранения или не храня другие файлы. Именно в таком контексте появился Filecoin.
Экономическая модель токенов Filecoin в основном включает три роли: пользователи платят за хранение данных; майнеры хранилищ получают вознаграждение токенами за хранение данных пользователей; майнеры поиска предоставляют данные по запросу пользователей и получают вознаграждение.
Эта модель содержит потенциальные возможности для мошенничества. Хранители данных могут после предоставления пространства для хранения заполнять его мусорными данными, чтобы получить вознаграждение. Поскольку эти мусорные данные не подлежат извлечению, потеря их не активирует механизм наказания. Это позволяет хранителям данных удалять мусорные данные и повторять этот процесс. Консенсус на основе доказательства копии в Filecoin может лишь гарантировать, что данные пользователей не были удалены без ведома, но не может остановить хранителей данных от заполнения мусорными данными.
Работа Filecoin в значительной степени зависит от постоянных вложений майнеров в токеномику, а не от реального спроса конечных пользователей на распределенное хранение. Несмотря на то, что проект продолжает развиваться, на текущем этапе построение экосистемы Filecoin больше соответствует определению "логики майнинга", чем "приложениям" в проектах хранения.
Arweave: Долгосрочная стратегия: плюсы и минусы
Если цель Filecoin состоит в том, чтобы создать стимулирующую, проверяемую Децентрализация "оболочку данных", то Arweave идет в совершенно противоположном направлении в сфере хранения: предоставляя данные с постоянной способностью хранения. Arweave не пытается создать распределенную вычислительную платформу, вся его система строится на одной ключевой гипотезе - важные данные должны храниться один раз и навсегда оставаться в сети. Этот крайний долгосрочный подход делает Arweave совершенно отличным от Filecoin по механике, модели стимулов, требованиям к оборудованию и нарративной стороне.
Arweave изучает Биткойн и пытается постоянно оптимизировать сеть постоянного хранения на долгих периодах времени, исчисляемых годами. Arweave не заботится о маркетинге, не интересуется конкурентами и рыночными трендами. Он просто сосредоточен на итерации сетевой архитектуры, даже если никто не интересуется, что и является сутью команды разработчиков Arweave: долгосрочный подход. Благодаря долгосрочному подходу Arweave был популярен на прошлой бычьей рынке; и из-за долгосрочного подхода, даже если он упадет в низы, Arweave все равно может пережить несколько раундов бычьего и медвежьего рынков. Но останется ли у Arweave место в будущем децентрализованном хранении? Ценность существования постоянного хранения может быть доказана только временем.
С версии 1.5 до последней версии 2.9, хотя Arweave потерял рыночное внимание, он продолжает стремиться к тому, чтобы более широкие группы майнеров могли участвовать в сети с минимальными затратами и поощрять майнеров максимально хранить данные, постоянно улучшая устойчивость всей сети. Arweave хорошо осознает, что не соответствует рыночным предпочтениям, поэтому выбирает консервативный путь, не обнимая сообщество майнеров, экосистема полностью остановилась, с минимальными затратами обновляется основная сеть, постоянно снижая аппаратные требования без ущерба для безопасности сети.
Обзор пути обновления 1.5-2.9
Версия Arweave 1.5 выявила уязвимость, позволяющую майнерам полагаться на стек GPU вместо реального хранения для оптимизации вероятности создания блока. Чтобы сдержать эту тенденцию, версия 1.7 вводит алгоритм RandomX, ограничивающий использование специализированной вычислительной мощности и требующий участия универсальных CPU в майнинге, что ослабляет централизацию вычислительной мощности.
Версия 2.0 использует SPoA, переводя доказательства данных в упрощенный путь структуры дерева Меркла, и вводит транзакции формата 2, чтобы уменьшить нагрузку на синхронизацию. Эта архитектура облегчает давление на сетевую пропускную способность и значительно усиливает способность узлов к сотрудничеству. Тем не менее, некоторые майнеры все еще могут избежать ответственности за реальное хранение данных с помощью стратегии централизованных высокоскоростных хранилищ.
Для исправления этого отклонения версия 2.4 внедрила механизм SPoRA, который вводит глобальный индекс и медленный хэш для случайного доступа, требуя от майнеров реального владения блоками данных для участия в эффективном создании блоков, тем самым ослабляя эффект накопления вычислительной мощности. В результате майнеры начали обращать внимание на скорость доступа к хранилищу, что привело к увеличению применения SSD и высокоскоростных устройств чтения и записи. В версии 2.6 введена контроль хэш-цепочки для регулирования темпа создания блоков, что сбалансировало предельную эффективность высокопроизводительных устройств и обеспечило справедливое участие для мелких и средних майнеров.
В последующих версиях будет дополнительно усилена способность сетевого сотрудничества и разнообразие хранения: 2.7 добавляет механизмы совместного майнинга и майнинг-пулов, повышая конкурентоспособность мелких майнеров; 2.8 вводит механизм композитной упаковки, позволяя устройствам с большой ёмкостью и низкой скоростью гибко участвовать; 2.9 вводит новый процесс упаковки в формате replica_2_9, значительно повышая эффективность и снижая зависимость от вычислений, завершая замкнутый цикл модели данных, ориентированной на майнинг.
В общем, путь обновления Arweave четко демонстрирует его долгосрочную стратегию, ориентированную на хранение: постоянно противодействуя тенденции концентрации вычислительной мощности, он продолжает снижать барьеры для участия, обеспечивая возможность долгосрочной работы протокола.
Walrus: хайп или инновация в горячем хранении данных?
Дизайн Walrus радикально отличается от Filecoin и Arweave. Исходной точкой Filecoin является создание децентрализованной и проверяемой системы хранения, ценой которой является хранение холодных данных; целью Arweave является создание цепочки, где данные могут храниться постоянно, ценой которой является ограниченное количество сценариев применения; в то время как ядром Walrus является оптимизация затрат на хранение горячих данных.
Модифицированный код исправления и уничтожения: инновации в затратах или старая бутылка с новым вином?
В дизайне затрат на хранение Walrus считает, что расходы на хранение Filecoin и Arweave неразумны. Оба последних используют полную архитектуру копирования, основное преимущество которой заключается в том, что каждый узел имеет полную копию, что обеспечивает высокую устойчивость к сбоям и независимость между узлами. Эта архитектура гарантирует, что даже если некоторые узлы отключены, сеть все равно обладает доступностью данных. Однако это также означает, что системе требуется многократное резервирование для поддержания устойчивости, что увеличивает затраты на хранение. Особенно в дизайне Arweave механизм консенсуса сам по себе поощряет узлы к резервному хранению, чтобы повысить безопасность данных. В отличие от этого, Filecoin более гибок в контроле затрат, но ценой этого является то, что часть недорогого хранения может иметь более высокий риск потери данных. Walrus пытается найти баланс между ними; его механизм контролирует затраты на копирование, одновременно увеличивая доступность с помощью структурированного резервирования, создавая новый компромисс между доступностью данных и эффективностью затрат.
Redstuff, созданный Walrus, является ключевой технологией для снижения избыточности узлов, он основан на кодировании Reed-Solomon ( RS ). Кодирование RS — это традиционный алгоритм кодирования с исправлением ошибок, который позволяет удваивать набор данных, добавляя избыточные фрагменты, для восстановления исходных данных. От CD-ROM до спутниковой связи и QR-кодов, он широко используется в повседневной жизни.
Кодирование с удалением позволяет пользователю получить блок данных ( размером 1 МБ ), а затем "увеличить" его до 2 МБ, где дополнительные 1 МБ являются специальными данными для кодирования с удалением. Если любой байт в блоке потерян, пользователь может легко восстановить эти байты с помощью кода. Даже если потеряно до 1 МБ данных, весь блок все равно может быть восстановлен. Та же технология позволяет компьютерам считывать все данные с поврежденного CD-ROM.
В настоящее время наиболее часто используется кодирование РС. Способ реализации заключается в том, чтобы начать с k информационных блоков, построить связанные многочлены и оценить их в различных координатах x, чтобы получить кодовые блоки. Используя коды РС, вероятность случайной выборки потери больших объемов данных очень мала.
Пример: разделите файл на 6 данных и 4 контрольных блока, всего 10 частей. Достаточно сохранить любые 6 частей, чтобы полностью восстановить исходные данные.
Преимущества: высокая устойчивость к ошибкам, широко применяется в CD/DVD, резервных дисках с защитой от сбоев (RAID), а также в облачных системах хранения (, таких как Azure Storage, Facebook F4).
Недостатки: сложность вычисления декодирования, высокие накладные расходы; не подходит для сценариев с частыми изменениями данных. Поэтому обычно используется для восстановления и управления данными в централизованной среде вне цепочки.
В условиях Децентрализации, Storj и Sia адаптировали традиционное RS-кодирование для удовлетворения реальных потребностей распределенной сети. Walrus на этой основе также предложил свой вариант - алгоритм кодирования RedStuff, чтобы обеспечить более низкие затраты и более гибкий механизм резервного хранения.
Какова главная особенность Redstuff? Благодаря улучшенному алгоритму кодирования с коррекцией ошибок, Walrus может быстро и надежно кодировать неструктурированные блоки данных в более мелкие фрагменты, которые распределенно хранятся в сети узлов хранения. Даже если потеряно до двух третей фрагментов, оригинальный блок данных можно быстро восстановить с использованием части фрагментов. Это стало возможным при сохранении коэффициента репликации всего лишь от 4 до 5 раз.
Поэтому разумно определить Walrus как легковесный протокол избыточности и восстановления, заново спроектированный вокруг Децентрализации. В отличие от традиционных кодов исправления ошибок (, таких как Reed-Solomon ), RedStuff больше не стремится к строгой математической согласованности, а вместо этого проводит реалистичные компромиссы в отношении распределения данных, проверки хранения и вычислительных затрат. Эта модель отказывается от механизма мгновенной декодировки, необходимого для централизованного планирования, и вместо этого использует Proof на цепочке для проверки того, имеют ли узлы определенные копии данных, чтобы адаптироваться к более динамичной и маргинализированной сетевой структуре.
Основной концепцией дизайна RedStuff является разделение данных на два типа: основные фрагменты и второстепенные фрагменты. Основные фрагменты используются для восстановления исходных данных, их создание и распределение подлежат строгим ограничениям, порог восстановления составляет f + 1, и требуется 2f + 1 подписей в качестве подтверждения доступности; второстепенные фрагменты создаются с помощью простых операций, таких как XOR-комбинации, и предназначены для обеспечения гибкой отказоустойчивости, повышения общей надежности системы. Эта структура по сути снижает требования к согласованности данных - позволяет различным узлам временно хранить разные версии данных, подчеркивая практический путь "конечной согласованности". Хотя это похоже на более свободные требования к обратным блокам в системах, таких как Arweave, это снижает нагрузку на сеть.