Святий Грааль Crypto AI: передові дослідження децентралізованого навчання
У повному життєвому циклі штучного інтелекту навчання моделей є етапом з найбільшими витратами ресурсів та найвищими технологічними бар'єрами, який безпосередньо визначає верхню межу можливостей моделі та фактичну ефективність застосування. У порівнянні з легковаговим викликом на етапі виводу, процес навчання потребує тривалої великомасштабної обробки обчислювальних потужностей, складних процесів обробки даних та підтримки високоефективних алгоритмів оптимізації, що є справжньою "важкою промисловістю" систем штучного інтелекту. З точки зору архітектурних парадигм, способи навчання можна розділити на чотири категорії: централізоване навчання, розподілене навчання, федеративне навчання та децентралізоване навчання, яке є основною темою даної статті.
Централізоване навчання є найпоширенішим традиційним способом, який виконується єдиною установою в локальному високопродуктивному кластері, де всі процеси навчання - від апаратного забезпечення, базового програмного забезпечення, системи управління кластером до всіх компонентів навчальної рамки - координуються єдиною системою контролю. Така архітектура з глибокою співпрацею забезпечує оптимальну ефективність спільного використання пам'яті, синхронізації градієнтів і механізмів відмовостійкості, що робить її дуже придатною для навчання масштабних моделей, таких як GPT, Gemini, з перевагами високої ефективності та контрольованих ресурсів, але водночас існують проблеми монополії даних, бар'єрів для ресурсів, споживання енергії та ризику єдиної точки.
Розподілене навчання є основним способом навчання великих моделей, його суть полягає в розподілі завдань навчання моделі на кілька машин для спільного виконання, щоб подолати обмеження обчислень та зберігання на одному комп'ютері. Незважаючи на те, що фізично має "Децентралізація" характеристики, в цілому все ще контролюється централізованими установами, які відповідають за координацію та синхронізацію, зазвичай працює в середовищі високошвидкісної локальної мережі, через технологію високошвидкісної міжмашинної взаємозв'язку NVLink, головний вузол централізовано координує всі підзадачі. Основні методи включають:
Паралельна обробка даних: кожен вузол навчає різні дані, параметри діляться, потрібно узгодити ваги моделі
Модельна паралельність: розміщення різних частин моделі на різних вузлах для досягнення сильної масштабованості
Паралельне виконання: поетапне серійне виконання, підвищення пропускної спроможності
Тензорне паралельне програмування: детальне розділення матричних обчислень, підвищення паралельної гранульованості
Розподілене навчання є поєднанням "централізованого контролю + розподіленого виконання", аналогічно тому, як один і той же шеф дистанційно керує співробітниками з кількох "офісів" для спільного виконання завдання. Наразі майже всі основні великі моделі навчаються саме таким чином.
Децентралізація тренування означає більш відкритий і стійкий до цензури шлях у майбутнє. Його основна характеристика полягає в тому, що кілька взаємно недовірливих вузлів співпрацюють для виконання завдань тренування без центрального координатора, зазвичай за допомогою протоколу, що керує розподілом завдань і співпрацею, а також за допомогою механізму криптостимулів для забезпечення чесності внесків. Основні виклики, з якими стикається ця модель, включають:
Гетерогенність пристроїв та складнощі з їх розподілом: висока складність координації гетерогенних пристроїв, низька ефективність розподілу завдань
Проблема з ефективністю зв'язку: нестабільний мережевий зв'язок, очевидний вузький момент у синхронізації градієнтів
Відсутність надійного виконання: бракує надійного середовища виконання, важко перевірити, чи дійсно вузли беруть участь у обчисленнях.
Відсутність єдиного координування: немає центрального диспетчера, розподіл завдань, складний механізм відкату в разі помилок
Децентралізація тренування можна зрозуміти як: група глобальних волонтерів, які спільно вносять обчислювальні потужності для тренування моделі, але "справді здійсненне великомасштабне децентралізоване тренування" все ще є системним інженерним викликом, що охоплює системну архітектуру, комунікаційні протоколи, криптографічну безпеку, економічні механізми, перевірку моделі та багато інших аспектів, але чи можливо "ефективно співпрацювати + заохочувати чесність + отримувати правильні результати" все ще перебуває на ранній стадії прототипування.
Федеративне навчання як перехідна форма між дистрибуцією та Децентралізація, підкреслює збереження даних на місці та централізовану агрегацію параметрів моделі, підходить для сценаріїв, що акцентують на конфіденційності. Федеративне навчання має інженерну структуру дистрибутивного навчання та локальні кооперативні можливості, одночасно має переваги дистрибутивного навчання щодо розподілу даних, але все ще залежить від надійних координаторів і не має повністю відкритих та антицензурних характеристик. Це можна вважати "контрольованим децентралізованим" рішенням у сценаріях, що акцентують на конфіденційності, з відносно м'якими вимогами до навчальних завдань, структур довіри та комунікаційних механізмів, що робить його більш придатним для промислових перехідних розгортань.
Децентралізація тренування: межі, можливості та реальні шляхи
З точки зору навчальної парадигми, децентралізоване навчання не підходить для всіх типів завдань. У певних сценаріях, через складну структуру завдань, надзвичайно високі вимоги до ресурсів або складності співпраці, воно природно не підходить для ефективного виконання між гетерогенними, довіреними вузлами. Наприклад, навчання великих моделей часто залежить від високої відеопам'яті, низької затримки та високої пропускної здатності, тому важко ефективно розділити та синхронізувати в відкритій мережі; завдання, що мають сильні обмеження щодо конфіденційності даних та суверенітету, обмежені юридичною відповідністю та етичними нормами, і не можуть бути відкрито поділені; а завдання, що не мають основи для заохочення співпраці, бракують зовнішніх стимулів для участі. Ці межі спільно формують реальні обмеження сучасного децентралізованого навчання.
Але це не означає, що децентралізоване навчання є хибною концепцією. Насправді, у типах завдань з легкою структурою, які легко паралелізуються та можуть бути стимульовані, децентралізоване навчання демонструє очевидні перспективи застосування. До них відносяться, але не обмежуються: доопрацювання LoRA, завдання після навчання з вирівнюванням поведінки, навчання та маркування даних через краудсорсинг, навчання малих базових моделей з контрольованими ресурсами, а також сценарії кооперативного навчання з участю периферійних пристроїв. Ці завдання зазвичай мають високу паралельність, низьку зв'язаність та терпимість до гетерогенної обчислювальної потужності, що робить їх дуже підходящими для кооперативного навчання через P2P мережі, протокол Swarm, розподілені оптимізатори та інші способи.
Децентралізація тренування класичних проектів аналіз
Наразі в області децентралізованого навчання та федеративного навчання представницькі блокчейн-проекти включають Prime Intellect, Pluralis.ai, Gensyn, Nous Research та Flock.io. З точки зору технічної інноваційності та складності реалізації, Prime Intellect, Nous Research та Pluralis.ai запропонували багато оригінальних досліджень у системній архітектурі та дизайні алгоритмів, представляючи передові напрямки теоретичних досліджень; тоді як реалізаційні шляхи Gensyn та Flock.io відносно зрозумілі, вже можна побачити початкові інженерні досягнення. У цій статті буде поетапно розглянуто основні технології та інженерну архітектуру, що стоять за цими п'ятьма проектами, а також буде додатково розглянуто їх відмінності та взаємодоповнюючі зв'язки в системі децентралізованого навчання AI.
Prime Intellect: Тренувальна траєкторія, що підлягає перевірці, посилене навчання, співпраця, мережеві попередники
Prime Intellect прагне створити мережу навчання ШІ, що не потребує довіри, дозволяючи кожному брати участь у навчанні та отримувати надійні винагороди за свої обчислювальні внески. Prime Intellect має на меті побудувати децентралізовану систему навчання ШІ з перевіряємими, відкритими та повноцінними механізмами стимулювання за допомогою трьох основних модулів: PRIME-RL + TOPLOC + SHARDCAST.
01、Структура протоколу Prime Intellect та цінність ключових модулів
02, Детальне пояснення ключових механізмів тренування Prime Intellect
#PRIME-RL: Архітектура завдань асинхронного підкріплювального навчання з розв'язуванням
PRIME-RL є рамкою для моделювання та виконання завдань, розробленою Prime Intellect для децентралізованих навчальних сцен, спеціально створеною для гетерогенних мереж та асинхронної участі. Вона використовує підкріплювальне навчання як пріоритетний об'єкт адаптації, структурно декомпозуючи процеси навчання, інференції та завантаження ваг, що дозволяє кожному навчальному вузлу незалежно виконувати цикли завдань локально та співпрацювати через стандартизовані інтерфейси з механізмами верифікації та агрегації. На відміну від традиційного процесу навчання з наглядом, PRIME-RL краще підходить для реалізації еластичного навчання в умовах безцентрового планування, знижуючи складність системи та закладаючи основу для підтримки паралельного виконання кількох завдань і еволюції стратегій.
#TOPLOC:Легковажний механізм перевірки поведінки навчання
TOPLOC є основним механізмом перевірки, запропонованим Prime Intellect, який використовується для визначення, чи дійсно вузол завершив ефективне навчання стратегії на основі спостережуваних даних. На відміну від важких рішень, таких як ZKML, TOPLOC не залежить від повторного обчислення всієї моделі, а завершує верифікацію легкоструктурованих систем, аналізуючи локальні узгодженість між "послідовностями спостережень ↔ оновленнями стратегії". Це вперше перетворює траєкторії поведінки під час навчання на об'єкти, які можуть бути перевірені, що є ключовим нововведенням для реалізації бездоказового розподілу винагород за навчання, забезпечуючи життєздатний шлях для побудови аудиторних та стимулюючих децентралізованих кооперативних навчальних мереж.
#SHARDCAST: Асинхронний ваговий агрегат і протокол поширення
SHARDCAST — це протокол вагового розповсюдження та агрегування, розроблений Prime Intellect, оптимізований для асинхронного, обмеженого пропускної здатності та змінного стану вузлів у реальних мережевих умовах. Він об'єднує механізм поширення gossip та локальну синхронну стратегію, що дозволяє кільком вузлам безперервно подавати часткові оновлення в асинхронному стані, реалізуючи прогресивну конвергенцію ваг та еволюцію декількох версій. У порівнянні з централізованими або синхронними методами AllReduce, SHARDCAST суттєво підвищує масштабованість і стійкість до помилок децентралізованого навчання, що є основою для побудови стабільного консенсусу ваг та безперервної ітерації навчання.
OpenDiLoCo є незалежною реалізацією та відкритим кодом оптимізаційного фреймворку зв'язку, створеним командою Prime Intellect на основі концепції DiLoCo, запропонованої DeepMind, спеціально розробленим для викликів, що часто виникають при децентралізованому навчанні, таких як обмежена пропускна здатність, гетерогенність пристроїв та нестабільність вузлів. Його архітектура базується на паралелізмі даних, шляхом побудови розріджених топологічних структур, таких як кільце, розширювач, малий світ, уникаючи високих витрат на зв'язок глобальної синхронізації, та покладаючись лише на сусідні локальні вузли для виконання кооперативного навчання моделі. Поєднуючи асинхронне оновлення та механізм відмови на контрольних точках, OpenDiLoCo дозволяє споживчими GPU та периферійними пристроями стабільно брати участь у навчальних завданнях, значно підвищуючи можливість участі в глобальному кооперативному навчанні, що є однією з ключових комунікаційних інфраструктур для побудови децентралізованих навчальних мереж.
#PCCL:Бібліотека спільної комунікації
PCCL є легковаговою комунікаційною бібліотекою, створеною Prime Intellect для децентралізованого середовища навчання AI, метою якої є вирішення проблеми адаптації традиційних комунікаційних бібліотек на гетерогенних пристроях та в мережах з низькою пропускною спроможністю. PCCL підтримує розріджену топологію, стиснення градієнтів, синхронізацію з низькою точністю та відновлення з контрольних точок, може працювати на споживчих GPU та нестабільних вузлах, є основним компонентом, що підтримує асинхронні комунікаційні можливості протоколу OpenDiLoCo. Він значно покращує толерантність до пропускної спроможності тренувальної мережі та сумісність пристроїв, відкриваючи "остання миля" комунікаційної інфраструктури для побудови справді відкритих, без довіри, мереж спільного навчання.
03、Prime Intellect інтенсивна мережа та розподіл ролей
Prime Intellect побудував мережу тренування, яка не потребує дозволу, є перевірною та має економічні стимули, що дозволяє будь-кому брати участь у завданнях і отримувати винагороди на основі реального внеску. Протокол працює на основі трьох ключових ролей:
Ініціатор завдання: визначення навчального середовища, початкової моделі, функції винагороди та стандартів валідації
Навчальний вузол: виконання локального навчання, подача оновлень ваг і спостережувальних траєкторій
Вузли перевірки: використовують механізм TOPLOC для підтвердження справжності навчальної поведінки та беруть участь у розрахунку винагороди та агрегації стратегій
Ядро процесу погодження включає публікацію завдань, навчання вузлів, верифікацію траєкторій, агрегацію ваг та виплату винагород, утворюючи стимулюючий замкнений цикл навколо "реальних навчальних дій".
04、INTELLECT-2:Перше випуск підтвердженої Децентралізації навчальної моделі
Prime Intellect випустила INTELLECT-2 у травні 2025 року, це перша у світі велика модель посиленого навчання, створена шляхом співпраці асинхронних, бездостовірних децентралізованих вузлів, з параметрами обсягом 32B. Модель INTELLECT-2 була навчена за допомогою співпраці понад 100 гетерогенних вузлів GPU, розташованих на трьох континентах, використовуючи повністю асинхронну архітектуру, тривалість навчання перевищила 400 годин, продемонструвавши життєздатність і стабільність асинхронної кооперативної мережі. Ця модель є не лише проривом у продуктивності, а й першим системним впровадженням парадигми "навчання - це консенсус", запропонованої Prime Intellect. INTELLECT-2 інтегрує основні модульні протоколи, такі як PRIME-RL, TOPLOC та SHARDCAST, що знаменує перше досягнення децентралізованої навчальної мережі.
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
9 лайків
Нагородити
9
4
Репост
Поділіться
Прокоментувати
0/400
PermabullPete
· 18год тому
Не дивно, що про кажуть, що ШІ спалює відеокарти
Переглянути оригіналвідповісти на0
BrokenDAO
· 18год тому
Знову займаються фальшивою ідеалізацією децентралізації. Для тренування обчислювальної потужності в кінцевому підсумку все ж доведеться покладатися на централізоване розподілення установ. Роздрібний інвестор не зможе грати.
Децентралізація AI тренування дослідження: від Prime Intellect до Pluralis передові технології аналізу
Святий Грааль Crypto AI: передові дослідження децентралізованого навчання
У повному життєвому циклі штучного інтелекту навчання моделей є етапом з найбільшими витратами ресурсів та найвищими технологічними бар'єрами, який безпосередньо визначає верхню межу можливостей моделі та фактичну ефективність застосування. У порівнянні з легковаговим викликом на етапі виводу, процес навчання потребує тривалої великомасштабної обробки обчислювальних потужностей, складних процесів обробки даних та підтримки високоефективних алгоритмів оптимізації, що є справжньою "важкою промисловістю" систем штучного інтелекту. З точки зору архітектурних парадигм, способи навчання можна розділити на чотири категорії: централізоване навчання, розподілене навчання, федеративне навчання та децентралізоване навчання, яке є основною темою даної статті.
Централізоване навчання є найпоширенішим традиційним способом, який виконується єдиною установою в локальному високопродуктивному кластері, де всі процеси навчання - від апаратного забезпечення, базового програмного забезпечення, системи управління кластером до всіх компонентів навчальної рамки - координуються єдиною системою контролю. Така архітектура з глибокою співпрацею забезпечує оптимальну ефективність спільного використання пам'яті, синхронізації градієнтів і механізмів відмовостійкості, що робить її дуже придатною для навчання масштабних моделей, таких як GPT, Gemini, з перевагами високої ефективності та контрольованих ресурсів, але водночас існують проблеми монополії даних, бар'єрів для ресурсів, споживання енергії та ризику єдиної точки.
Розподілене навчання є основним способом навчання великих моделей, його суть полягає в розподілі завдань навчання моделі на кілька машин для спільного виконання, щоб подолати обмеження обчислень та зберігання на одному комп'ютері. Незважаючи на те, що фізично має "Децентралізація" характеристики, в цілому все ще контролюється централізованими установами, які відповідають за координацію та синхронізацію, зазвичай працює в середовищі високошвидкісної локальної мережі, через технологію високошвидкісної міжмашинної взаємозв'язку NVLink, головний вузол централізовано координує всі підзадачі. Основні методи включають:
Розподілене навчання є поєднанням "централізованого контролю + розподіленого виконання", аналогічно тому, як один і той же шеф дистанційно керує співробітниками з кількох "офісів" для спільного виконання завдання. Наразі майже всі основні великі моделі навчаються саме таким чином.
Децентралізація тренування означає більш відкритий і стійкий до цензури шлях у майбутнє. Його основна характеристика полягає в тому, що кілька взаємно недовірливих вузлів співпрацюють для виконання завдань тренування без центрального координатора, зазвичай за допомогою протоколу, що керує розподілом завдань і співпрацею, а також за допомогою механізму криптостимулів для забезпечення чесності внесків. Основні виклики, з якими стикається ця модель, включають:
Децентралізація тренування можна зрозуміти як: група глобальних волонтерів, які спільно вносять обчислювальні потужності для тренування моделі, але "справді здійсненне великомасштабне децентралізоване тренування" все ще є системним інженерним викликом, що охоплює системну архітектуру, комунікаційні протоколи, криптографічну безпеку, економічні механізми, перевірку моделі та багато інших аспектів, але чи можливо "ефективно співпрацювати + заохочувати чесність + отримувати правильні результати" все ще перебуває на ранній стадії прототипування.
Федеративне навчання як перехідна форма між дистрибуцією та Децентралізація, підкреслює збереження даних на місці та централізовану агрегацію параметрів моделі, підходить для сценаріїв, що акцентують на конфіденційності. Федеративне навчання має інженерну структуру дистрибутивного навчання та локальні кооперативні можливості, одночасно має переваги дистрибутивного навчання щодо розподілу даних, але все ще залежить від надійних координаторів і не має повністю відкритих та антицензурних характеристик. Це можна вважати "контрольованим децентралізованим" рішенням у сценаріях, що акцентують на конфіденційності, з відносно м'якими вимогами до навчальних завдань, структур довіри та комунікаційних механізмів, що робить його більш придатним для промислових перехідних розгортань.
Децентралізація тренування: межі, можливості та реальні шляхи
З точки зору навчальної парадигми, децентралізоване навчання не підходить для всіх типів завдань. У певних сценаріях, через складну структуру завдань, надзвичайно високі вимоги до ресурсів або складності співпраці, воно природно не підходить для ефективного виконання між гетерогенними, довіреними вузлами. Наприклад, навчання великих моделей часто залежить від високої відеопам'яті, низької затримки та високої пропускної здатності, тому важко ефективно розділити та синхронізувати в відкритій мережі; завдання, що мають сильні обмеження щодо конфіденційності даних та суверенітету, обмежені юридичною відповідністю та етичними нормами, і не можуть бути відкрито поділені; а завдання, що не мають основи для заохочення співпраці, бракують зовнішніх стимулів для участі. Ці межі спільно формують реальні обмеження сучасного децентралізованого навчання.
Але це не означає, що децентралізоване навчання є хибною концепцією. Насправді, у типах завдань з легкою структурою, які легко паралелізуються та можуть бути стимульовані, децентралізоване навчання демонструє очевидні перспективи застосування. До них відносяться, але не обмежуються: доопрацювання LoRA, завдання після навчання з вирівнюванням поведінки, навчання та маркування даних через краудсорсинг, навчання малих базових моделей з контрольованими ресурсами, а також сценарії кооперативного навчання з участю периферійних пристроїв. Ці завдання зазвичай мають високу паралельність, низьку зв'язаність та терпимість до гетерогенної обчислювальної потужності, що робить їх дуже підходящими для кооперативного навчання через P2P мережі, протокол Swarm, розподілені оптимізатори та інші способи.
Децентралізація тренування класичних проектів аналіз
Наразі в області децентралізованого навчання та федеративного навчання представницькі блокчейн-проекти включають Prime Intellect, Pluralis.ai, Gensyn, Nous Research та Flock.io. З точки зору технічної інноваційності та складності реалізації, Prime Intellect, Nous Research та Pluralis.ai запропонували багато оригінальних досліджень у системній архітектурі та дизайні алгоритмів, представляючи передові напрямки теоретичних досліджень; тоді як реалізаційні шляхи Gensyn та Flock.io відносно зрозумілі, вже можна побачити початкові інженерні досягнення. У цій статті буде поетапно розглянуто основні технології та інженерну архітектуру, що стоять за цими п'ятьма проектами, а також буде додатково розглянуто їх відмінності та взаємодоповнюючі зв'язки в системі децентралізованого навчання AI.
Prime Intellect: Тренувальна траєкторія, що підлягає перевірці, посилене навчання, співпраця, мережеві попередники
Prime Intellect прагне створити мережу навчання ШІ, що не потребує довіри, дозволяючи кожному брати участь у навчанні та отримувати надійні винагороди за свої обчислювальні внески. Prime Intellect має на меті побудувати децентралізовану систему навчання ШІ з перевіряємими, відкритими та повноцінними механізмами стимулювання за допомогою трьох основних модулів: PRIME-RL + TOPLOC + SHARDCAST.
01、Структура протоколу Prime Intellect та цінність ключових модулів
02, Детальне пояснення ключових механізмів тренування Prime Intellect
#PRIME-RL: Архітектура завдань асинхронного підкріплювального навчання з розв'язуванням
PRIME-RL є рамкою для моделювання та виконання завдань, розробленою Prime Intellect для децентралізованих навчальних сцен, спеціально створеною для гетерогенних мереж та асинхронної участі. Вона використовує підкріплювальне навчання як пріоритетний об'єкт адаптації, структурно декомпозуючи процеси навчання, інференції та завантаження ваг, що дозволяє кожному навчальному вузлу незалежно виконувати цикли завдань локально та співпрацювати через стандартизовані інтерфейси з механізмами верифікації та агрегації. На відміну від традиційного процесу навчання з наглядом, PRIME-RL краще підходить для реалізації еластичного навчання в умовах безцентрового планування, знижуючи складність системи та закладаючи основу для підтримки паралельного виконання кількох завдань і еволюції стратегій.
#TOPLOC:Легковажний механізм перевірки поведінки навчання
TOPLOC є основним механізмом перевірки, запропонованим Prime Intellect, який використовується для визначення, чи дійсно вузол завершив ефективне навчання стратегії на основі спостережуваних даних. На відміну від важких рішень, таких як ZKML, TOPLOC не залежить від повторного обчислення всієї моделі, а завершує верифікацію легкоструктурованих систем, аналізуючи локальні узгодженість між "послідовностями спостережень ↔ оновленнями стратегії". Це вперше перетворює траєкторії поведінки під час навчання на об'єкти, які можуть бути перевірені, що є ключовим нововведенням для реалізації бездоказового розподілу винагород за навчання, забезпечуючи життєздатний шлях для побудови аудиторних та стимулюючих децентралізованих кооперативних навчальних мереж.
#SHARDCAST: Асинхронний ваговий агрегат і протокол поширення
SHARDCAST — це протокол вагового розповсюдження та агрегування, розроблений Prime Intellect, оптимізований для асинхронного, обмеженого пропускної здатності та змінного стану вузлів у реальних мережевих умовах. Він об'єднує механізм поширення gossip та локальну синхронну стратегію, що дозволяє кільком вузлам безперервно подавати часткові оновлення в асинхронному стані, реалізуючи прогресивну конвергенцію ваг та еволюцію декількох версій. У порівнянні з централізованими або синхронними методами AllReduce, SHARDCAST суттєво підвищує масштабованість і стійкість до помилок децентралізованого навчання, що є основою для побудови стабільного консенсусу ваг та безперервної ітерації навчання.
#OpenDiLoCo:Рідкісна асинхронна комунікаційна рамка
OpenDiLoCo є незалежною реалізацією та відкритим кодом оптимізаційного фреймворку зв'язку, створеним командою Prime Intellect на основі концепції DiLoCo, запропонованої DeepMind, спеціально розробленим для викликів, що часто виникають при децентралізованому навчанні, таких як обмежена пропускна здатність, гетерогенність пристроїв та нестабільність вузлів. Його архітектура базується на паралелізмі даних, шляхом побудови розріджених топологічних структур, таких як кільце, розширювач, малий світ, уникаючи високих витрат на зв'язок глобальної синхронізації, та покладаючись лише на сусідні локальні вузли для виконання кооперативного навчання моделі. Поєднуючи асинхронне оновлення та механізм відмови на контрольних точках, OpenDiLoCo дозволяє споживчими GPU та периферійними пристроями стабільно брати участь у навчальних завданнях, значно підвищуючи можливість участі в глобальному кооперативному навчанні, що є однією з ключових комунікаційних інфраструктур для побудови децентралізованих навчальних мереж.
#PCCL:Бібліотека спільної комунікації
PCCL є легковаговою комунікаційною бібліотекою, створеною Prime Intellect для децентралізованого середовища навчання AI, метою якої є вирішення проблеми адаптації традиційних комунікаційних бібліотек на гетерогенних пристроях та в мережах з низькою пропускною спроможністю. PCCL підтримує розріджену топологію, стиснення градієнтів, синхронізацію з низькою точністю та відновлення з контрольних точок, може працювати на споживчих GPU та нестабільних вузлах, є основним компонентом, що підтримує асинхронні комунікаційні можливості протоколу OpenDiLoCo. Він значно покращує толерантність до пропускної спроможності тренувальної мережі та сумісність пристроїв, відкриваючи "остання миля" комунікаційної інфраструктури для побудови справді відкритих, без довіри, мереж спільного навчання.
03、Prime Intellect інтенсивна мережа та розподіл ролей
Prime Intellect побудував мережу тренування, яка не потребує дозволу, є перевірною та має економічні стимули, що дозволяє будь-кому брати участь у завданнях і отримувати винагороди на основі реального внеску. Протокол працює на основі трьох ключових ролей:
Ядро процесу погодження включає публікацію завдань, навчання вузлів, верифікацію траєкторій, агрегацію ваг та виплату винагород, утворюючи стимулюючий замкнений цикл навколо "реальних навчальних дій".
04、INTELLECT-2:Перше випуск підтвердженої Децентралізації навчальної моделі
Prime Intellect випустила INTELLECT-2 у травні 2025 року, це перша у світі велика модель посиленого навчання, створена шляхом співпраці асинхронних, бездостовірних децентралізованих вузлів, з параметрами обсягом 32B. Модель INTELLECT-2 була навчена за допомогою співпраці понад 100 гетерогенних вузлів GPU, розташованих на трьох континентах, використовуючи повністю асинхронну архітектуру, тривалість навчання перевищила 400 годин, продемонструвавши життєздатність і стабільність асинхронної кооперативної мережі. Ця модель є не лише проривом у продуктивності, а й першим системним впровадженням парадигми "навчання - це консенсус", запропонованої Prime Intellect. INTELLECT-2 інтегрує основні модульні протоколи, такі як PRIME-RL, TOPLOC та SHARDCAST, що знаменує перше досягнення децентралізованої навчальної мережі.