Дослідження передового досвіду децентралізованого навчання: Святе Грааль Crypto AI
У повній ціновій ланцюзі AI, навчання моделей є найбільш ресурсомістким і має найвищий технічний бар'єр, що безпосередньо визначає верхню межу можливостей моделі та реальні результати застосування. У порівнянні з легковаговим викликом на етапі інференції, процес навчання потребує постійних масштабних обчислювальних ресурсів, складних процесів обробки даних та підтримки високоефективних алгоритмів оптимізації, що є справжньою "важкою промисловістю" побудови AI-систем. З точки зору архітектурних парадигм, способи навчання можна поділити на чотири категорії: централізоване навчання, розподілене навчання, федеративне навчання та децентралізоване навчання, яке є основною темою цього документа.
Централізоване навчання є найпоширенішим традиційним способом, що здійснюється однією організацією в локальному високопродуктивному кластері, де весь процес навчання, від апаратного забезпечення, програмного забезпечення нижнього рівня, системи планування кластерів до всіх компонентів навчального фреймворку, координується єдиною системою управління. Така архітектура глибокої координації забезпечує оптимальну ефективність спільного використання пам'яті, синхронізації градієнтів та механізмів відмовостійкості, що робить її дуже придатною для навчання масштабних моделей, таких як GPT, Gemini, з перевагами високої ефективності та контрольованих ресурсів, але водночас має проблеми, пов'язані з монополією даних, бар'єрами для ресурсів, споживанням енергії та ризиками одноточкових відмов.
Розподілене навчання є основним способом навчання великих моделей, його суть полягає в розподілі завдань навчання моделі на кілька машин для паралельного виконання, щоб подолати обмеження обчислень та зберігання на одній машині. Незважаючи на те, що фізично має "дистрибутивні" характеристики, загалом все ще контролюється та координується централізованою організацією, зазвичай працює в середовищі швидкої локальної мережі, через технологію високошвидкісної міжмашинної магістралі NVLink, головний вузол централізовано координує виконання підзавдань. Основні методи включають:
Дані паралельно: кожен вузол навчає різні дані, параметри діляться, потрібно відповідати вагам моделі
Паралельне моделювання: розміщення різних частин моделі на різних вузлах для досягнення високої масштабованості
Паралельне виконання: поетапне послідовне виконання, підвищує пропускну здатність
Тензорне паралельне обчислення: уточнене розділення матричних обчислень, підвищення градусів паралелізму
Розподілене навчання є поєднанням "централізованого контролю + розподіленого виконання", аналогічно тому, як один і той же керівник дистанційно керує співпрацею кількох "офісних" працівників для виконання завдання. Наразі майже всі основні великі моделі (GPT-4, Gemini, LLaMA тощо ) навчено таким чином.
Децентралізація тренування означає більш відкритий і стійкий до цензури шлях у майбутнє. Його основні характеристики полягають у тому, що: кілька ненадійних вузлів ( можуть бути домашніми комп'ютерами, хмарними GPU або крайніми пристроями ), які спільно виконують завдання тренування без централізованого координатора, зазвичай через протокол, що регулює розподіл завдань та співпрацю, а також за допомогою механізму криптографічних стимулів для забезпечення чесності внесків. Основними викликами цієї моделі є:
Гетерогенність пристроїв і труднощі розподілу: висока складність координації гетерогенних пристроїв, низька ефективність розподілу завдань
Вузьке місце ефективності зв'язку: нестабільний мережевий зв'язок, очевидне вузьке місце синхронізації градієнтів
Відсутність надійного виконання: відсутність надійного середовища виконання ускладнює перевірку того, чи дійсно вузол бере участь у обчисленнях.
Відсутність єдиного координаційного механізму: немає центрального диспетчера, розподіл завдань, складний механізм відкату помилок.
Децентралізація тренування можна зрозуміти як: група глобальних волонтерів, які кожен вносять обчислювальну потужність для спільного тренування моделі, але "справді життєздатна масова децентралізація тренування" все ще є системним інженерним викликом, що охоплює архітектуру системи, комунікаційні протоколи, криптографічну безпеку, економічні механізми, верифікацію моделі та інші аспекти, але чи можливо "спільно ефективно + мотивувати чесність + отримати правильний результат" ще перебуває на ранній стадії експериментування прототипів.
Федеративне навчання, як перехідна форма між розподіленістю та Децентралізацією, підкреслює локальне збереження даних та централізовану агрегацію параметрів моделі, що підходить для сцен, де важлива відповідність вимогам конфіденційності, таких як охорона здоров'я, фінанси (. Федеративне навчання має інженерну структуру розподіленого навчання та локальні кооперативні можливості, одночасно надаючи переваги розподіленого навчання з точки зору децентралізації даних, але все ще залежить від надійних координуючих сторін і не має повністю відкритих та антикризових характеристик. Це можна вважати "контрольованим децентралізованим" рішенням у контексті відповідності конфіденційності, яке є відносно м'яким у завданнях навчання, структурах довіри та комунікаційних механізмах, що робить його більш придатним для промислових перехідних архітектур.
![Святий Грааль Crypto AI: Децентралізація тренування на передовій дослідження])https://img-cdn.gateio.im/webp-social/moments-a8004f094fff74515470052b3a24617c.webp(
Децентралізація тренінгів: межі, можливості та реальні шляхи
З точки зору навчальних парадигм, децентралізоване навчання не підходить для всіх типів завдань. У деяких сценаріях, через складну структуру завдань, надзвичайно високі вимоги до ресурсів або великі труднощі в співпраці, воно природним чином не підходить для ефективного виконання між гетерогенними, недовіреними вузлами. Наприклад, навчання великих моделей часто залежить від великої пам'яті, низької затримки та високої пропускної здатності, що ускладнює їх ефективне розподілення та синхронізацію в відкритих мережах; завдання, що мають сильні обмеження на конфіденційність даних та суверенітет, як-от медичні, фінансові та дані, що підлягають секретності ), обмежені юридичними нормами та етичними обмеженнями, не можуть бути відкрито поділені; а завдання, які не мають основи для співпраці, як-от закриті моделі підприємств або навчання внутрішніх прототипів (, позбавлені зовнішніх стимулів для участі. Ці обмеження разом становлять реальні обмеження децентралізованого навчання сьогодні.
Але це не означає, що децентралізоване навчання є псевдопроблемою. Насправді, у типах завдань, які є легкими за структурою, легко паралелізованими та можуть бути стимульованими, децентралізоване навчання демонструє очевидні перспективи застосування. До них належать, але не обмежуються: LoRA доопрацювання, завдання після навчання з вирівнюванням поведінки ), як RLHF, DPO (, навчання та маркування даних через краудсорсинг, навчання невеликих базових моделей з контрольованими ресурсами, а також сценарії кооперативного навчання з участю крайових пристроїв. Ці завдання, як правило, мають високу паралельність, низьку зв'язаність та терпимість до гетерогенних обчислювальних потужностей, що робить їх дуже придатними для кооперативного навчання через P2P мережу, протокол Swarm, розподілені оптимізатори та інші методи.
![Святий Грааль Crypto AI: Децентралізація тренування на передовій])https://img-cdn.gateio.im/webp-social/moments-adb92bc4dfbaf26863cb0b4bb1081cd7.webp(
Децентралізація тренування класичних проектів аналіз
Наразі у сфері децентралізованого навчання та федеративного навчання, репрезентативні блокчейн-проекти включають Prime Intellect, Pluralis.ai, Gensyn, Nous Research та Flock.io. З точки зору технічної інноваційності та складності реалізації, Prime Intellect, Nous Research і Pluralis.ai запропонували чимало оригінальних досліджень в системній архітектурі та алгоритмічному дизайні, представляючи сучасні теоретичні дослідження; тоді як реалізаційні шляхи Gensyn та Flock.io є відносно чіткими, і вже можна побачити перші кроки в інженерному прогресі. У цій статті буде поетапно розглянуто основні технології та інженерну архітектуру цих п'яти проектів, а також буде детально обговорено їх відмінності та взаємодоповнюючі зв'язки в рамках децентралізованої системи навчання AI.
) Prime Intellect: Тренувальна траєкторія, що підлягає верифікації, посилена навчанням кооперативна мережа
Prime Intellect прагне створити мережу тренування ШІ, яка не потребує довіри, щоб кожен міг брати участь у навчанні та отримувати надійні винагороди за свої обчислювальні внески. Prime Intellect сподівається побудувати децентралізовану систему тренування ШІ з підтверджуваністю, відкритістю та повноцінним механізмом стимулювання через три основні модулі: PRIME-RL + TOPLOC + SHARDCAST.
(# 01, Структура стеку протоколу Prime Intellect та цінність ключових модулів
![Святий Грааль Crypto AI: Децентралізація тренування на передовій])https://img-cdn.gateio.im/webp-social/moments-69eb6c2dab3d6284b890285c71e7a47f.webp###
02, Детальний опис ключових механізмів навчання Prime Intellect
#PRIME-RL: Архітектура завдань асинхронного підкріплювального навчання з декомпозицією
PRIME-RL є рамкою моделювання та виконання завдань, налаштованою Prime Intellect для децентралізованих навчальних сцен, спеціально розробленою для гетерогенних мереж і асинхронних учасників. Вона використовує підкріплювальне навчання як пріоритетний об'єкт адаптації, структурно декомпозуючи процеси навчання, міркування та завантаження ваг, що дозволяє кожному навчальному вузлу незалежно виконувати цикл завдань локально та співпрацювати через стандартизовані інтерфейси з механізмами верифікації та агрегування. У порівнянні з традиційними процесами навчання під наглядом, PRIME-RL більше підходить для реалізації еластичного навчання в середовищах без централізованого управління, знижуючи складність системи та закладаючи основу для підтримки паралельного виконання багатозадачності та еволюції стратегій.
#TOPLOC:Легка перевірка поведінки під час навчання
TOPLOC(Довірене спостереження & Перевірка локальності) є основним механізмом перевірки навчання, запропонованим Prime Intellect, який використовується для визначення, чи дійсно вузол завершив ефективне навчання стратегії на основі спостережуваних даних. На відміну від важких рішень, таких як ZKML, TOPLOC не покладається на перерахунок всієї моделі, а завершує верифікацію легковажної структури, аналізуючи локальні узгодженість траєкторій між "послідовністю спостережень ↔ оновленням стратегії". Вперше він перетворює траєкторії поведінки під час навчання на об'єкти, які можна перевірити, що є ключовим нововведенням для реалізації розподілу нагород за навчання без довіри, що забезпечує життєздатний шлях для побудови аудиторських, стимулюючих мереж децентралізованого співпраці.
#SHARDCAST: Асинхронна агрегація ваг і протокол поширення
SHARDCAST є протоколом вагомого розповсюдження та агрегації, розробленим Prime Intellect, оптимізованим спеціально для асинхронних, обмежених за пропускною здатністю та змінних станів вузлів у реальних мережевих середовищах. Він поєднує механізм розповсюдження gossip та локальну синхронізацію, що дозволяє кільком вузлам продовжувати подавати часткові оновлення в умовах несинхронізації, досягати прогресивної конвергенції ваг та багатоверсійної еволюції. У порівнянні з централізованими або синхронними методами AllReduce, SHARDCAST значно підвищує масштабованість та стійкість до збоїв децентралізованого навчання, є основою для побудови стабільного консенсусу ваг та безперервної ітерації навчання.
OpenDiLoCo є незалежно реалізованою та з відкритим вихідним кодом оптимізаційною комунікаційною платформою, створеною командою Prime Intellect на основі концепції DiLoCo, запропонованої DeepMind, спеціально розробленою для вирішення викликів, що виникають під час децентралізованого навчання, таких як обмежена пропускна здатність, гетерогенність пристроїв та нестабільність вузлів. Його архітектура базується на паралельній обробці даних, шляхом побудови розріджених топологій, таких як кільце, розширювач, малий світ, що дозволяє уникнути високих витрат на комунікацію під час глобальної синхронізації, покладаючись лише на сусідні вузли для завершення спільного навчання моделі. Поєднуючи асинхронне оновлення з механізмом відновлення після збоїв, OpenDiLoCo дозволяє споживчим GPU та крайовим пристроям стабільно брати участь у навчальних завданнях, суттєво підвищуючи можливість участі в глобальному кооперативному навчанні, що є однією з ключових комунікаційних інфраструктур для створення децентралізованої навчальної мережі.
#PCCL:Бібліотека співпраці зв'язку
PCCL###Prime Collective Communication Library( є легковісним комунікаційним бібліотекою, створеною Prime Intellect для децентралізованого середовища навчання AI, що має на меті вирішити проблеми адаптації традиційних комунікаційних бібліотек у гетерогенних пристроях та мережах з низькою пропускною здатністю. PCCL підтримує розріджену топологію, стиснення градієнтів, синхронізацію з низькою точністю та відновлення з контрольних точок, може працювати на споживчих GPU та нестабільних вузлах, є базовим компонентом, який підтримує асинхронні комунікаційні можливості протоколу OpenDiLoCo. Він суттєво підвищує пропускну здатність мережі навчання та сумісність пристроїв, прокладаючи "остання миля" комунікаційної інфраструктури для створення справжньої відкритої, без довіри кооперативної мережі навчання.
![Святий Грааль Crypto AI: Децентралізація навчання на передньому краї])https://img-cdn.gateio.im/webp-social/moments-b11af8d10db6e8baa0c19e87aa18dd82.webp(
)# 03、Prime Intellect стимулююча мережа та розподіл ролей
Prime Intellect побудував мережу тренування без дозволу, що підлягає перевірці та має економічні стимули, що дозволяє будь-кому брати участь у завданнях та отримувати винагороди на основі реальних внесків. Протокол працює на основі трьох основних ролей:
Ініціатор завдання: визначення навчального середовища, початкової моделі, функції винагороди та стандартів валідації
Тренувальний вузол: виконання локального навчання, подача оновлень ваг та спостереження за траєкторією
Вузли верифікації: використовують механізм TOPLOC для перевірки справжності навчальної поведінки, а також беруть участь у розрахунку винагород та агрегації стратегій.
Ядро процесу угоди включає публікацію завдань, навчання вузлів, перевірку траєкторій, агрегацію ваг (SHARDCAST) і виплату винагород, що формує замкнуте коло стимулів навколо "реальної навчальної поведінки".
![Святий Грааль Crypto AI: Децентралізація навчання на передовій]###https://img-cdn.gateio.im/webp-social/moments-0a322ea8b70c3d00d8d99606559c1864.webp(
)# 04、INTELLECT-2:перше перевірене рішення з децентралізованого навчання моделей
Prime Intellect випустила INTELLECT-2 у травні 2025 року, це перший у світі продукт, який працює на асинхронній, без довіри
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
24 лайків
Нагородити
24
5
Поділіться
Прокоментувати
0/400
degenwhisperer
· 08-02 02:08
Ей, ця річ справді має сенс, проведіть власне дослідження (DYOR) кілька днів, відчуваю, що це досить надійно.
Переглянути оригіналвідповісти на0
GasWaster
· 07-30 07:48
брух, обчислювальна потужність – це нові Комісії за газ, серйозно... рип моє гаманце
Переглянути оригіналвідповісти на0
MoneyBurnerSociety
· 07-30 07:31
Професійний експерт з помилок, AI вже продав три відеокарти
Переглянути оригіналвідповісти на0
GasFeeNightmare
· 07-30 07:24
Не дарма це важка промисловість, тренування обчислювальної потужності коштує більше, ніж витрати на газ.
Переглянути оригіналвідповісти на0
MultiSigFailMaster
· 07-30 07:23
Обчислювальна потужність така дорога, що важко майнити.
Дослідження фронтиру децентралізації AI тренування: Prime Intellect веде нову парадигму кооперативних мереж
Дослідження передового досвіду децентралізованого навчання: Святе Грааль Crypto AI
У повній ціновій ланцюзі AI, навчання моделей є найбільш ресурсомістким і має найвищий технічний бар'єр, що безпосередньо визначає верхню межу можливостей моделі та реальні результати застосування. У порівнянні з легковаговим викликом на етапі інференції, процес навчання потребує постійних масштабних обчислювальних ресурсів, складних процесів обробки даних та підтримки високоефективних алгоритмів оптимізації, що є справжньою "важкою промисловістю" побудови AI-систем. З точки зору архітектурних парадигм, способи навчання можна поділити на чотири категорії: централізоване навчання, розподілене навчання, федеративне навчання та децентралізоване навчання, яке є основною темою цього документа.
Централізоване навчання є найпоширенішим традиційним способом, що здійснюється однією організацією в локальному високопродуктивному кластері, де весь процес навчання, від апаратного забезпечення, програмного забезпечення нижнього рівня, системи планування кластерів до всіх компонентів навчального фреймворку, координується єдиною системою управління. Така архітектура глибокої координації забезпечує оптимальну ефективність спільного використання пам'яті, синхронізації градієнтів та механізмів відмовостійкості, що робить її дуже придатною для навчання масштабних моделей, таких як GPT, Gemini, з перевагами високої ефективності та контрольованих ресурсів, але водночас має проблеми, пов'язані з монополією даних, бар'єрами для ресурсів, споживанням енергії та ризиками одноточкових відмов.
Розподілене навчання є основним способом навчання великих моделей, його суть полягає в розподілі завдань навчання моделі на кілька машин для паралельного виконання, щоб подолати обмеження обчислень та зберігання на одній машині. Незважаючи на те, що фізично має "дистрибутивні" характеристики, загалом все ще контролюється та координується централізованою організацією, зазвичай працює в середовищі швидкої локальної мережі, через технологію високошвидкісної міжмашинної магістралі NVLink, головний вузол централізовано координує виконання підзавдань. Основні методи включають:
Розподілене навчання є поєднанням "централізованого контролю + розподіленого виконання", аналогічно тому, як один і той же керівник дистанційно керує співпрацею кількох "офісних" працівників для виконання завдання. Наразі майже всі основні великі моделі (GPT-4, Gemini, LLaMA тощо ) навчено таким чином.
Децентралізація тренування означає більш відкритий і стійкий до цензури шлях у майбутнє. Його основні характеристики полягають у тому, що: кілька ненадійних вузлів ( можуть бути домашніми комп'ютерами, хмарними GPU або крайніми пристроями ), які спільно виконують завдання тренування без централізованого координатора, зазвичай через протокол, що регулює розподіл завдань та співпрацю, а також за допомогою механізму криптографічних стимулів для забезпечення чесності внесків. Основними викликами цієї моделі є:
Децентралізація тренування можна зрозуміти як: група глобальних волонтерів, які кожен вносять обчислювальну потужність для спільного тренування моделі, але "справді життєздатна масова децентралізація тренування" все ще є системним інженерним викликом, що охоплює архітектуру системи, комунікаційні протоколи, криптографічну безпеку, економічні механізми, верифікацію моделі та інші аспекти, але чи можливо "спільно ефективно + мотивувати чесність + отримати правильний результат" ще перебуває на ранній стадії експериментування прототипів.
Федеративне навчання, як перехідна форма між розподіленістю та Децентралізацією, підкреслює локальне збереження даних та централізовану агрегацію параметрів моделі, що підходить для сцен, де важлива відповідність вимогам конфіденційності, таких як охорона здоров'я, фінанси (. Федеративне навчання має інженерну структуру розподіленого навчання та локальні кооперативні можливості, одночасно надаючи переваги розподіленого навчання з точки зору децентралізації даних, але все ще залежить від надійних координуючих сторін і не має повністю відкритих та антикризових характеристик. Це можна вважати "контрольованим децентралізованим" рішенням у контексті відповідності конфіденційності, яке є відносно м'яким у завданнях навчання, структурах довіри та комунікаційних механізмах, що робить його більш придатним для промислових перехідних архітектур.
![Святий Грааль Crypto AI: Децентралізація тренування на передовій дослідження])https://img-cdn.gateio.im/webp-social/moments-a8004f094fff74515470052b3a24617c.webp(
Децентралізація тренінгів: межі, можливості та реальні шляхи
З точки зору навчальних парадигм, децентралізоване навчання не підходить для всіх типів завдань. У деяких сценаріях, через складну структуру завдань, надзвичайно високі вимоги до ресурсів або великі труднощі в співпраці, воно природним чином не підходить для ефективного виконання між гетерогенними, недовіреними вузлами. Наприклад, навчання великих моделей часто залежить від великої пам'яті, низької затримки та високої пропускної здатності, що ускладнює їх ефективне розподілення та синхронізацію в відкритих мережах; завдання, що мають сильні обмеження на конфіденційність даних та суверенітет, як-от медичні, фінансові та дані, що підлягають секретності ), обмежені юридичними нормами та етичними обмеженнями, не можуть бути відкрито поділені; а завдання, які не мають основи для співпраці, як-от закриті моделі підприємств або навчання внутрішніх прототипів (, позбавлені зовнішніх стимулів для участі. Ці обмеження разом становлять реальні обмеження децентралізованого навчання сьогодні.
Але це не означає, що децентралізоване навчання є псевдопроблемою. Насправді, у типах завдань, які є легкими за структурою, легко паралелізованими та можуть бути стимульованими, децентралізоване навчання демонструє очевидні перспективи застосування. До них належать, але не обмежуються: LoRA доопрацювання, завдання після навчання з вирівнюванням поведінки ), як RLHF, DPO (, навчання та маркування даних через краудсорсинг, навчання невеликих базових моделей з контрольованими ресурсами, а також сценарії кооперативного навчання з участю крайових пристроїв. Ці завдання, як правило, мають високу паралельність, низьку зв'язаність та терпимість до гетерогенних обчислювальних потужностей, що робить їх дуже придатними для кооперативного навчання через P2P мережу, протокол Swarm, розподілені оптимізатори та інші методи.
![Святий Грааль Crypto AI: Децентралізація тренування на передовій])https://img-cdn.gateio.im/webp-social/moments-adb92bc4dfbaf26863cb0b4bb1081cd7.webp(
Децентралізація тренування класичних проектів аналіз
Наразі у сфері децентралізованого навчання та федеративного навчання, репрезентативні блокчейн-проекти включають Prime Intellect, Pluralis.ai, Gensyn, Nous Research та Flock.io. З точки зору технічної інноваційності та складності реалізації, Prime Intellect, Nous Research і Pluralis.ai запропонували чимало оригінальних досліджень в системній архітектурі та алгоритмічному дизайні, представляючи сучасні теоретичні дослідження; тоді як реалізаційні шляхи Gensyn та Flock.io є відносно чіткими, і вже можна побачити перші кроки в інженерному прогресі. У цій статті буде поетапно розглянуто основні технології та інженерну архітектуру цих п'яти проектів, а також буде детально обговорено їх відмінності та взаємодоповнюючі зв'язки в рамках децентралізованої системи навчання AI.
) Prime Intellect: Тренувальна траєкторія, що підлягає верифікації, посилена навчанням кооперативна мережа
Prime Intellect прагне створити мережу тренування ШІ, яка не потребує довіри, щоб кожен міг брати участь у навчанні та отримувати надійні винагороди за свої обчислювальні внески. Prime Intellect сподівається побудувати децентралізовану систему тренування ШІ з підтверджуваністю, відкритістю та повноцінним механізмом стимулювання через три основні модулі: PRIME-RL + TOPLOC + SHARDCAST.
(# 01, Структура стеку протоколу Prime Intellect та цінність ключових модулів
![Святий Грааль Crypto AI: Децентралізація тренування на передовій])https://img-cdn.gateio.im/webp-social/moments-69eb6c2dab3d6284b890285c71e7a47f.webp###
02, Детальний опис ключових механізмів навчання Prime Intellect
#PRIME-RL: Архітектура завдань асинхронного підкріплювального навчання з декомпозицією
PRIME-RL є рамкою моделювання та виконання завдань, налаштованою Prime Intellect для децентралізованих навчальних сцен, спеціально розробленою для гетерогенних мереж і асинхронних учасників. Вона використовує підкріплювальне навчання як пріоритетний об'єкт адаптації, структурно декомпозуючи процеси навчання, міркування та завантаження ваг, що дозволяє кожному навчальному вузлу незалежно виконувати цикл завдань локально та співпрацювати через стандартизовані інтерфейси з механізмами верифікації та агрегування. У порівнянні з традиційними процесами навчання під наглядом, PRIME-RL більше підходить для реалізації еластичного навчання в середовищах без централізованого управління, знижуючи складність системи та закладаючи основу для підтримки паралельного виконання багатозадачності та еволюції стратегій.
#TOPLOC:Легка перевірка поведінки під час навчання
TOPLOC(Довірене спостереження & Перевірка локальності) є основним механізмом перевірки навчання, запропонованим Prime Intellect, який використовується для визначення, чи дійсно вузол завершив ефективне навчання стратегії на основі спостережуваних даних. На відміну від важких рішень, таких як ZKML, TOPLOC не покладається на перерахунок всієї моделі, а завершує верифікацію легковажної структури, аналізуючи локальні узгодженість траєкторій між "послідовністю спостережень ↔ оновленням стратегії". Вперше він перетворює траєкторії поведінки під час навчання на об'єкти, які можна перевірити, що є ключовим нововведенням для реалізації розподілу нагород за навчання без довіри, що забезпечує життєздатний шлях для побудови аудиторських, стимулюючих мереж децентралізованого співпраці.
#SHARDCAST: Асинхронна агрегація ваг і протокол поширення
SHARDCAST є протоколом вагомого розповсюдження та агрегації, розробленим Prime Intellect, оптимізованим спеціально для асинхронних, обмежених за пропускною здатністю та змінних станів вузлів у реальних мережевих середовищах. Він поєднує механізм розповсюдження gossip та локальну синхронізацію, що дозволяє кільком вузлам продовжувати подавати часткові оновлення в умовах несинхронізації, досягати прогресивної конвергенції ваг та багатоверсійної еволюції. У порівнянні з централізованими або синхронними методами AllReduce, SHARDCAST значно підвищує масштабованість та стійкість до збоїв децентралізованого навчання, є основою для побудови стабільного консенсусу ваг та безперервної ітерації навчання.
#OpenDiLoCo:Рідкісний асинхронний комунікаційний фреймворк
OpenDiLoCo є незалежно реалізованою та з відкритим вихідним кодом оптимізаційною комунікаційною платформою, створеною командою Prime Intellect на основі концепції DiLoCo, запропонованої DeepMind, спеціально розробленою для вирішення викликів, що виникають під час децентралізованого навчання, таких як обмежена пропускна здатність, гетерогенність пристроїв та нестабільність вузлів. Його архітектура базується на паралельній обробці даних, шляхом побудови розріджених топологій, таких як кільце, розширювач, малий світ, що дозволяє уникнути високих витрат на комунікацію під час глобальної синхронізації, покладаючись лише на сусідні вузли для завершення спільного навчання моделі. Поєднуючи асинхронне оновлення з механізмом відновлення після збоїв, OpenDiLoCo дозволяє споживчим GPU та крайовим пристроям стабільно брати участь у навчальних завданнях, суттєво підвищуючи можливість участі в глобальному кооперативному навчанні, що є однією з ключових комунікаційних інфраструктур для створення децентралізованої навчальної мережі.
#PCCL:Бібліотека співпраці зв'язку
PCCL###Prime Collective Communication Library( є легковісним комунікаційним бібліотекою, створеною Prime Intellect для децентралізованого середовища навчання AI, що має на меті вирішити проблеми адаптації традиційних комунікаційних бібліотек у гетерогенних пристроях та мережах з низькою пропускною здатністю. PCCL підтримує розріджену топологію, стиснення градієнтів, синхронізацію з низькою точністю та відновлення з контрольних точок, може працювати на споживчих GPU та нестабільних вузлах, є базовим компонентом, який підтримує асинхронні комунікаційні можливості протоколу OpenDiLoCo. Він суттєво підвищує пропускну здатність мережі навчання та сумісність пристроїв, прокладаючи "остання миля" комунікаційної інфраструктури для створення справжньої відкритої, без довіри кооперативної мережі навчання.
![Святий Грааль Crypto AI: Децентралізація навчання на передньому краї])https://img-cdn.gateio.im/webp-social/moments-b11af8d10db6e8baa0c19e87aa18dd82.webp(
)# 03、Prime Intellect стимулююча мережа та розподіл ролей
Prime Intellect побудував мережу тренування без дозволу, що підлягає перевірці та має економічні стимули, що дозволяє будь-кому брати участь у завданнях та отримувати винагороди на основі реальних внесків. Протокол працює на основі трьох основних ролей:
Ядро процесу угоди включає публікацію завдань, навчання вузлів, перевірку траєкторій, агрегацію ваг (SHARDCAST) і виплату винагород, що формує замкнуте коло стимулів навколо "реальної навчальної поведінки".
![Святий Грааль Crypto AI: Децентралізація навчання на передовій]###https://img-cdn.gateio.im/webp-social/moments-0a322ea8b70c3d00d8d99606559c1864.webp(
)# 04、INTELLECT-2:перше перевірене рішення з децентралізованого навчання моделей
Prime Intellect випустила INTELLECT-2 у травні 2025 року, це перший у світі продукт, який працює на асинхронній, без довіри