Священный Грааль Crypto AI: передовые исследования децентрализованного обучения
В полной ценностной цепочке ИИ этап обучения моделей является наиболее ресурсоемким и с наивысшими техническими барьерами, что напрямую определяет верхний предел возможностей модели и фактические результаты применения. В отличие от легковесных вызовов на этапе вывода, процесс обучения требует постоянных вложений в крупномасштабные вычислительные мощности, сложные процессы обработки данных и поддержку высокоинтенсивных алгоритмов оптимизации, что делает его настоящей "тяжелой промышленностью" в построении систем ИИ. С точки зрения архитектурных парадигм, способы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, на котором сосредоточено внимание в данной статье.
Централизованное обучение является самой распространенной традиционной практикой, когда все процессы обучения выполняются единственным учреждением в локальном высокопроизводительном кластере, начиная от аппаратного обеспечения, программного обеспечения низкого уровня, систем управления кластерами и заканчивая всеми компонентами обучающего фреймворка, которые координируются единой системой управления. Эта архитектура глубокой координации обеспечивает наилучшую эффективность совместного использования памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает ее очень подходящей для обучения масштабных моделей, таких как GPT и Gemini, с преимуществами высокой эффективности и контролируемых ресурсов, но одновременно имеются проблемы монополизации данных, барьеров для ресурсов, потребления энергии и рисков единой точки.
Распределенное обучение является основным способом обучения больших моделей в настоящее время, его суть заключается в разбиении задач обучения модели на части и распределении их на несколько машин для совместного выполнения, чтобы преодолеть узкие места вычислений и хранения на одной машине. Несмотря на то, что физически он обладает характеристиками "Децентрализация", в целом он по-прежнему контролируется и синхронизируется централизованной организацией, часто работает в среде высокоскоростной локальной сети, используя технологию высокоскоростной межсоединительной шины NVLink, при этом главный узел координирует все подзадачи. Основные методы включают:
Параллельные данные: каждый узел обучает разные данные, параметры делятся, необходимо сопоставить веса модели
Модельное параллелизм: развертывание различных частей модели на разных узлах для достижения высокой масштабируемости
Параллельные каналы: поэтапное последовательное выполнение, повышение пропускной способности
Тензорное параллельное вычисление: детальная сегментация матричных вычислений, повышение степени параллелизма
Распределенное обучение представляет собой комбинацию "централизованного управления + распределенного выполнения", аналогично тому, как один и тот же руководитель дистанционно управляет несколькими "офисными" сотрудниками, которые совместно выполняют задачи. В настоящее время почти все основные большие модели обучаются именно таким образом.
Децентрализация обучения представляет собой более открытый и стойкий к цензуре путь в будущее. Его основная характеристика заключается в том, что несколько недоверительных узлов совместно выполняют задачи обучения без центрального координатора, обычно через протокол, который управляет распределением задач и сотрудничеством, и с помощью механизмов криптоощущения для обеспечения честности вклада. Основные вызовы, с которыми сталкивается эта модель, включают:
Гетерогенность устройств и трудности разделения: высокая сложность координации гетерогенных устройств, низкая эффективность разделения задач
Недостаток доверяемого исполнения: отсутствие доверяемой исполняемой среды затрудняет проверку того, действительно ли узлы участвуют в вычислениях
Отсутствие единой координации: нет центрального диспетчера, сложная система распределения задач и механизм отката при ошибках.
Децентрализация тренировки может быть понята как: группа глобальных волонтеров, каждый из которых вносит вычислительную мощность для совместной тренировки модели, но "по-настоящему осуществимая масштабная Децентрализация тренировки" по-прежнему является системной инженерной задачей, касающейся архитектуры системы, коммуникационных протоколов, криптографической безопасности, экономических механизмов, проверки моделей и других аспектов. Однако вопрос о том, можно ли "совместно эффективно + стимулировать честность + получать правильные результаты", все еще находится на стадии раннего прототипирования.
Федеративное обучение, как переходная форма между распределенной и Децентрализация, подчеркивает локальное хранение данных и централизованную агрегацию параметров модели, подходит для сценариев, акцентирующих внимание на соблюдении конфиденциальности. Федеративное обучение имеет инженерную структуру распределенного обучения и локальные кооперативные возможности, одновременно обладая преимуществами распределенных данных в Децентрализация, но все еще зависит от надежного координатора и не обладает полностью открытыми и антицензурными характеристиками. Это можно рассматривать как "контролируемое Децентрализация" решение в сценариях соблюдения конфиденциальности, с относительно мягкими требованиями к задачам обучения, структуре доверия и коммуникационным механизмам, что делает его более подходящим как переходная архитектура развертывания в промышленности.
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения тренировочной парадигмы, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, крайне высоких требований к ресурсам или большой сложности сотрудничества, она естественно не подходит для эффективного выполнения между гетерогенными, децентрализованными узлами. Например, обучение больших моделей часто зависит от высокой памяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытых сетях; задачи с сильными ограничениями на конфиденциальность данных и суверенитет ограничены юридическими и этическими нормами, что делает их невозможным для открытого обмена; а задачи, основанные на отсутствии стимулов к сотрудничеству, не имеют внешнего мотива для участия. Эти границы вместе составляют реальные ограничения Децентрализованного обучения на сегодняшний день.
Но это не означает, что Децентрализация обучения — это ложное утверждение. На самом деле, в типах задач, которые являются легковесными по структуре, легко параллелизируемыми и поощряемыми, Децентрализация обучения демонстрирует явные перспективы применения. Включая, но не ограничиваясь: LoRA дообучением, задачами послеобучения, связанными с выравниванием поведения, задачами по обучению и аннотированию данных с использованием краудсорсинга, обучением небольших базовых моделей с контролируемыми ресурсами, а также сценами совместного обучения с участием периферийных устройств. Эти задачи обычно обладают высокой параллельностью, низкой связностью и терпимостью к гетерогенной вычислительной мощности, что делает их очень подходящими для совместного обучения через P2P сети, протоколы Swarm, распределенные оптимизаторы и другие способы.
Децентрализация тренировки классических проектов
В настоящее время в области децентрализованного обучения и федеративного обучения представительные блокчейн-проекты в основном включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технической инновационности и сложности реализации, Prime Intellect, Nous Research и Pluralis.ai предложили больше оригинальных исследований в системной архитектуре и алгоритмическом дизайне, представляя передовые направления текущих теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, и уже можно видеть начальный инженерный прогресс. Эта статья последовательно проанализирует ключевые технологии и инженерные архитектуры, стоящие за этими пятью проектами, и далее обсудит их различия и взаимодополняющие отношения в системе децентрализованного AI-обучения.
Prime Intellect: проверяемая траектория обучения в сети совместного обучения
Prime Intellect стремится создать сеть тренировки ИИ, которая не требует доверия, позволяя каждому участвовать в тренировке и получать заслуженные награды за свои вычислительные вклады. Prime Intellect хочет создать систему децентрализованного обучения ИИ с проверяемостью, открытостью и полной системой стимулов с помощью трех основных модулей: PRIME-RL + TOPLOC + SHARDCAST.
01、Структура стека протокола Prime Intellect и ценность ключевых модулей
02, Подробное описание ключевых механизмов тренировки Prime Intellect
#PRIME-RL: Архитектура задач асинхронного обучения с подкреплением с разъединением
PRIME-RL является моделью задач и фреймворком выполнения, кастомизированным Prime Intellect для Децентрализация тренировочных сценарием, специально разработанным для гетерогенных сетей и асинхронного участия. Он использует обучение с подкреплением в качестве приоритетного объекта адаптации, структурно декомпозируя процессы тренировки, вывода и загрузки весов, что позволяет каждому тренировочному узлу независимо выполнять цикл задач на локальном уровне и сотрудничать с механизмами верификации и агрегации через стандартизированный интерфейс. В отличие от традиционных процессов обучения с учителем, PRIME-RL более подходит для реализации гибкой тренировки в средах без централизованного управления, тем самым снижая сложность системы и закладывая основу для поддержки параллельных многозадач и эволюции стратегий.
#TOPLOC:Легковесный механизм верификации поведения тренировки
TOPLOC — это核心 механизм可验证性, предложенный Prime Intellect, используемый для определения того, действительно ли узел завершил有效ное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не полагается на полное пересчитывание модели, а вместо этого достигает легковесной структурной проверки через анализ локальных последовательностей согласованности между "наблюдательной последовательностью↔обновлением стратегии". Впервые он преобразует поведенческие траектории в процессе обучения в可验证对象, что является ключевым инновационным шагом для реализации распределения вознаграждений за обучение без доверия, предоставляя жизнеспособный путь для построения可审计 и可激励的 Децентрализация协作训练网络.
#SHARDCAST: Асинхронный протокол агрегации и распространения весов
SHARDCAST — это протокол распространения и агрегации весов, разработанный Prime Intellect, оптимизированный для реальных сетевых условий с асинхронной работой, ограниченной пропускной способностью и изменяющимся состоянием узлов. Он сочетает в себе механизм распространения gossip и стратегию локальной синхронизации, позволяя нескольким узлам продолжать отправлять частичные обновления в условиях рассинхронизации, достигая постепенной сходимости весов и многоверсионной эволюции. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно повышает масштабируемость и отказоустойчивость децентрализованного обучения, являясь основой для построения стабильного консенсуса по весам и непрерывной итерации обучения.
#OpenDiLoCo:Разреженная асинхронная коммуникационная структура
OpenDiLoCo — это оптимизированный коммуникационный фреймворк, который был независимо реализован и открыт командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind. Он специально разработан для решения распространенных проблем в децентрализованном обучении, таких как ограниченная пропускная способность, гетерогенность устройств и нестабильность узлов. Его архитектура основана на параллельной обработке данных и использует разреженные топологические структуры, такие как Ring, Expander и Small-World, чтобы избежать высоких затрат на коммуникацию при глобальной синхронизации, полагаясь только на соседние узлы для совместного обучения модели. Совместив асинхронные обновления и механизм восстановления после сбоя, OpenDiLoCo позволяет потребительским GPU и устройствам на краю сети стабильно участвовать в обучающих задачах, значительно повышая доступность глобального совместного обучения и являясь одной из ключевых коммуникационных инфраструктур для построения децентрализованной сети обучения.
#PCCL:Библиотека совместной связи
PCCL — это легковесная коммуникационная библиотека, созданная Prime Intellect для децентрализованной среды обучения AI, предназначенная для решения проблем адаптации традиционных коммуникационных библиотек на гетерогенных устройствах и в сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, является основным компонентом, поддерживающим асинхронные возможности связи протокола OpenDiLoCo. Она значительно повышает устойчивость сети обучения к пропускной способности и совместимость устройств, прокладывая "последнюю милю" коммуникационной инфраструктуры для создания по-настоящему открытой, доверенной сети совместного обучения.
03, Сеть стимулирования и ролевое подразделение Prime Intellect
Prime Intellect создал сеть обучения, которая не требует разрешений, может быть проверена и имеет экономические стимулы, позволяя любому участвовать в задачах и получать вознаграждение на основе реального вклада. Протокол работает на основе трех типов ключевых ролей:
Инициатор задачи: определение обучающей среды, начальной модели, функции вознаграждения и стандартов валидации
Узел обучения: выполнение локального обучения, отправка обновлений весов и наблюдательных траекторий
Узлы проверки: использование механизма TOPLOC для проверки подлинности тренировочного поведения и участия в расчете наград и агрегации стратегий
Основные процессы соглашения включают публикацию задач, обучение узлов, верификацию траекторий, агрегацию весов и распределение вознаграждений, формируя замкнутый цикл стимулов, основанный на "реальных тренировочных действиях".
04, INTELLECT-2: Выпуск первой верифицируемой модели децентрализации для обучения
Prime Intellect выпустила INTELLECT-2 в мае 2025 года, это первая в мире большая модель глубокого обучения, обученная с использованием асинхронных, не требующих доверия децентрализованных узлов. Масштаб параметров достигает 32B. Модель INTELLECT-2 была обучена с использованием более 100 GPU гетерогенных узлов, расположенных на трех континентах, с полной асинхронной архитектурой, продолжительность обучения составила более 400 часов, что продемонстрировало жизнеспособность и стабильность асинхронной сети сотрудничества. Эта модель не только представляет собой прорыв в производительности, но и является первой системной реализацией парадигмы "обучение как консенсус", предложенной Prime Intellect. INTELLECT-2 интегрирует основные протоколы, такие как PRIME-RL, TOPLOC и SHARDCAST, что знаменует собой первое достижение децентрализованной обучающей сети.
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
10 Лайков
Награда
10
4
Репост
Поделиться
комментарий
0/400
PermabullPete
· 23ч назад
Не удивительно, что про говорят, что ИИ жжет видеокарты
Посмотреть ОригиналОтветить0
BrokenDAO
· 23ч назад
Снова занимаются ложной идеализацией децентрализации. В конечном итоге вычислительная мощность все равно должна зависеть от централизованного распределения институциональных инвесторов. Розничный инвестор не сможет в этом поиграть.
Децентрализация AI тренировки исследования: от Prime Intellect до Pluralis передовые технологии анализа
Священный Грааль Crypto AI: передовые исследования децентрализованного обучения
В полной ценностной цепочке ИИ этап обучения моделей является наиболее ресурсоемким и с наивысшими техническими барьерами, что напрямую определяет верхний предел возможностей модели и фактические результаты применения. В отличие от легковесных вызовов на этапе вывода, процесс обучения требует постоянных вложений в крупномасштабные вычислительные мощности, сложные процессы обработки данных и поддержку высокоинтенсивных алгоритмов оптимизации, что делает его настоящей "тяжелой промышленностью" в построении систем ИИ. С точки зрения архитектурных парадигм, способы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, на котором сосредоточено внимание в данной статье.
Централизованное обучение является самой распространенной традиционной практикой, когда все процессы обучения выполняются единственным учреждением в локальном высокопроизводительном кластере, начиная от аппаратного обеспечения, программного обеспечения низкого уровня, систем управления кластерами и заканчивая всеми компонентами обучающего фреймворка, которые координируются единой системой управления. Эта архитектура глубокой координации обеспечивает наилучшую эффективность совместного использования памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает ее очень подходящей для обучения масштабных моделей, таких как GPT и Gemini, с преимуществами высокой эффективности и контролируемых ресурсов, но одновременно имеются проблемы монополизации данных, барьеров для ресурсов, потребления энергии и рисков единой точки.
Распределенное обучение является основным способом обучения больших моделей в настоящее время, его суть заключается в разбиении задач обучения модели на части и распределении их на несколько машин для совместного выполнения, чтобы преодолеть узкие места вычислений и хранения на одной машине. Несмотря на то, что физически он обладает характеристиками "Децентрализация", в целом он по-прежнему контролируется и синхронизируется централизованной организацией, часто работает в среде высокоскоростной локальной сети, используя технологию высокоскоростной межсоединительной шины NVLink, при этом главный узел координирует все подзадачи. Основные методы включают:
Распределенное обучение представляет собой комбинацию "централизованного управления + распределенного выполнения", аналогично тому, как один и тот же руководитель дистанционно управляет несколькими "офисными" сотрудниками, которые совместно выполняют задачи. В настоящее время почти все основные большие модели обучаются именно таким образом.
Децентрализация обучения представляет собой более открытый и стойкий к цензуре путь в будущее. Его основная характеристика заключается в том, что несколько недоверительных узлов совместно выполняют задачи обучения без центрального координатора, обычно через протокол, который управляет распределением задач и сотрудничеством, и с помощью механизмов криптоощущения для обеспечения честности вклада. Основные вызовы, с которыми сталкивается эта модель, включают:
Децентрализация тренировки может быть понята как: группа глобальных волонтеров, каждый из которых вносит вычислительную мощность для совместной тренировки модели, но "по-настоящему осуществимая масштабная Децентрализация тренировки" по-прежнему является системной инженерной задачей, касающейся архитектуры системы, коммуникационных протоколов, криптографической безопасности, экономических механизмов, проверки моделей и других аспектов. Однако вопрос о том, можно ли "совместно эффективно + стимулировать честность + получать правильные результаты", все еще находится на стадии раннего прототипирования.
Федеративное обучение, как переходная форма между распределенной и Децентрализация, подчеркивает локальное хранение данных и централизованную агрегацию параметров модели, подходит для сценариев, акцентирующих внимание на соблюдении конфиденциальности. Федеративное обучение имеет инженерную структуру распределенного обучения и локальные кооперативные возможности, одновременно обладая преимуществами распределенных данных в Децентрализация, но все еще зависит от надежного координатора и не обладает полностью открытыми и антицензурными характеристиками. Это можно рассматривать как "контролируемое Децентрализация" решение в сценариях соблюдения конфиденциальности, с относительно мягкими требованиями к задачам обучения, структуре доверия и коммуникационным механизмам, что делает его более подходящим как переходная архитектура развертывания в промышленности.
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения тренировочной парадигмы, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, крайне высоких требований к ресурсам или большой сложности сотрудничества, она естественно не подходит для эффективного выполнения между гетерогенными, децентрализованными узлами. Например, обучение больших моделей часто зависит от высокой памяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытых сетях; задачи с сильными ограничениями на конфиденциальность данных и суверенитет ограничены юридическими и этическими нормами, что делает их невозможным для открытого обмена; а задачи, основанные на отсутствии стимулов к сотрудничеству, не имеют внешнего мотива для участия. Эти границы вместе составляют реальные ограничения Децентрализованного обучения на сегодняшний день.
Но это не означает, что Децентрализация обучения — это ложное утверждение. На самом деле, в типах задач, которые являются легковесными по структуре, легко параллелизируемыми и поощряемыми, Децентрализация обучения демонстрирует явные перспективы применения. Включая, но не ограничиваясь: LoRA дообучением, задачами послеобучения, связанными с выравниванием поведения, задачами по обучению и аннотированию данных с использованием краудсорсинга, обучением небольших базовых моделей с контролируемыми ресурсами, а также сценами совместного обучения с участием периферийных устройств. Эти задачи обычно обладают высокой параллельностью, низкой связностью и терпимостью к гетерогенной вычислительной мощности, что делает их очень подходящими для совместного обучения через P2P сети, протоколы Swarm, распределенные оптимизаторы и другие способы.
Децентрализация тренировки классических проектов
В настоящее время в области децентрализованного обучения и федеративного обучения представительные блокчейн-проекты в основном включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технической инновационности и сложности реализации, Prime Intellect, Nous Research и Pluralis.ai предложили больше оригинальных исследований в системной архитектуре и алгоритмическом дизайне, представляя передовые направления текущих теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, и уже можно видеть начальный инженерный прогресс. Эта статья последовательно проанализирует ключевые технологии и инженерные архитектуры, стоящие за этими пятью проектами, и далее обсудит их различия и взаимодополняющие отношения в системе децентрализованного AI-обучения.
Prime Intellect: проверяемая траектория обучения в сети совместного обучения
Prime Intellect стремится создать сеть тренировки ИИ, которая не требует доверия, позволяя каждому участвовать в тренировке и получать заслуженные награды за свои вычислительные вклады. Prime Intellect хочет создать систему децентрализованного обучения ИИ с проверяемостью, открытостью и полной системой стимулов с помощью трех основных модулей: PRIME-RL + TOPLOC + SHARDCAST.
01、Структура стека протокола Prime Intellect и ценность ключевых модулей
02, Подробное описание ключевых механизмов тренировки Prime Intellect
#PRIME-RL: Архитектура задач асинхронного обучения с подкреплением с разъединением
PRIME-RL является моделью задач и фреймворком выполнения, кастомизированным Prime Intellect для Децентрализация тренировочных сценарием, специально разработанным для гетерогенных сетей и асинхронного участия. Он использует обучение с подкреплением в качестве приоритетного объекта адаптации, структурно декомпозируя процессы тренировки, вывода и загрузки весов, что позволяет каждому тренировочному узлу независимо выполнять цикл задач на локальном уровне и сотрудничать с механизмами верификации и агрегации через стандартизированный интерфейс. В отличие от традиционных процессов обучения с учителем, PRIME-RL более подходит для реализации гибкой тренировки в средах без централизованного управления, тем самым снижая сложность системы и закладывая основу для поддержки параллельных многозадач и эволюции стратегий.
#TOPLOC:Легковесный механизм верификации поведения тренировки
TOPLOC — это核心 механизм可验证性, предложенный Prime Intellect, используемый для определения того, действительно ли узел завершил有效ное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не полагается на полное пересчитывание модели, а вместо этого достигает легковесной структурной проверки через анализ локальных последовательностей согласованности между "наблюдательной последовательностью↔обновлением стратегии". Впервые он преобразует поведенческие траектории в процессе обучения в可验证对象, что является ключевым инновационным шагом для реализации распределения вознаграждений за обучение без доверия, предоставляя жизнеспособный путь для построения可审计 и可激励的 Децентрализация协作训练网络.
#SHARDCAST: Асинхронный протокол агрегации и распространения весов
SHARDCAST — это протокол распространения и агрегации весов, разработанный Prime Intellect, оптимизированный для реальных сетевых условий с асинхронной работой, ограниченной пропускной способностью и изменяющимся состоянием узлов. Он сочетает в себе механизм распространения gossip и стратегию локальной синхронизации, позволяя нескольким узлам продолжать отправлять частичные обновления в условиях рассинхронизации, достигая постепенной сходимости весов и многоверсионной эволюции. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно повышает масштабируемость и отказоустойчивость децентрализованного обучения, являясь основой для построения стабильного консенсуса по весам и непрерывной итерации обучения.
#OpenDiLoCo:Разреженная асинхронная коммуникационная структура
OpenDiLoCo — это оптимизированный коммуникационный фреймворк, который был независимо реализован и открыт командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind. Он специально разработан для решения распространенных проблем в децентрализованном обучении, таких как ограниченная пропускная способность, гетерогенность устройств и нестабильность узлов. Его архитектура основана на параллельной обработке данных и использует разреженные топологические структуры, такие как Ring, Expander и Small-World, чтобы избежать высоких затрат на коммуникацию при глобальной синхронизации, полагаясь только на соседние узлы для совместного обучения модели. Совместив асинхронные обновления и механизм восстановления после сбоя, OpenDiLoCo позволяет потребительским GPU и устройствам на краю сети стабильно участвовать в обучающих задачах, значительно повышая доступность глобального совместного обучения и являясь одной из ключевых коммуникационных инфраструктур для построения децентрализованной сети обучения.
#PCCL:Библиотека совместной связи
PCCL — это легковесная коммуникационная библиотека, созданная Prime Intellect для децентрализованной среды обучения AI, предназначенная для решения проблем адаптации традиционных коммуникационных библиотек на гетерогенных устройствах и в сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, является основным компонентом, поддерживающим асинхронные возможности связи протокола OpenDiLoCo. Она значительно повышает устойчивость сети обучения к пропускной способности и совместимость устройств, прокладывая "последнюю милю" коммуникационной инфраструктуры для создания по-настоящему открытой, доверенной сети совместного обучения.
03, Сеть стимулирования и ролевое подразделение Prime Intellect
Prime Intellect создал сеть обучения, которая не требует разрешений, может быть проверена и имеет экономические стимулы, позволяя любому участвовать в задачах и получать вознаграждение на основе реального вклада. Протокол работает на основе трех типов ключевых ролей:
Основные процессы соглашения включают публикацию задач, обучение узлов, верификацию траекторий, агрегацию весов и распределение вознаграждений, формируя замкнутый цикл стимулов, основанный на "реальных тренировочных действиях".
04, INTELLECT-2: Выпуск первой верифицируемой модели децентрализации для обучения
Prime Intellect выпустила INTELLECT-2 в мае 2025 года, это первая в мире большая модель глубокого обучения, обученная с использованием асинхронных, не требующих доверия децентрализованных узлов. Масштаб параметров достигает 32B. Модель INTELLECT-2 была обучена с использованием более 100 GPU гетерогенных узлов, расположенных на трех континентах, с полной асинхронной архитектурой, продолжительность обучения составила более 400 часов, что продемонстрировало жизнеспособность и стабильность асинхронной сети сотрудничества. Эта модель не только представляет собой прорыв в производительности, но и является первой системной реализацией парадигмы "обучение как консенсус", предложенной Prime Intellect. INTELLECT-2 интегрирует основные протоколы, такие как PRIME-RL, TOPLOC и SHARDCAST, что знаменует собой первое достижение децентрализованной обучающей сети.