Децентралізація тренування: нова парадигма розвитку ШІ

У всьому ланцюгу створення цінності AI, навчання моделей є етапом з найбільшими витратами ресурсів та найвищими технологічними бар'єрами, що безпосередньо визначає верхню межу можливостей моделі та реальний ефект застосування. У порівнянні з легковаговими запитами на етапі міркування, процес навчання вимагає постійних великих витрат обчислювальних потужностей, складних процесів обробки даних та підтримки інтенсивних алгоритмів оптимізації, що робить його справжньою "важкою промисловістю" системи AI. З точки зору архітектурних парадигм, способи навчання можна поділити на чотири категорії: централізоване навчання, розподілене навчання, федеративне навчання та децентралізоване навчання, яке є основною темою цієї статті.

Централізоване навчання є найпоширенішим традиційним способом, яке виконується єдиною установою в локальному високопродуктивному кластері, де всі етапи навчання - від апаратного забезпечення, базового програмного забезпечення, системи розподілу кластеру до всіх компонентів навчальної рамки - координуються єдиною системою контролю. Така глибока співпраця архітектури забезпечує оптимальну ефективність спільного використання пам'яті, синхронізації градієнтів і механізмів відмовостійкості, що робить її дуже придатною для навчання масштабних моделей, таких як GPT, Gemini, з високою ефективністю та контрольованими ресурсами, проте одночасно існують проблеми монополізації даних, бар'єрів для ресурсів, споживання енергії та ризику єдиної точки.

Розподілене навчання є основним способом навчання великих моделей сьогодні, його суть полягає в розподілі завдань навчання моделі на кілька машин для спільного виконання, щоб подолати обмеження обчислень і зберігання на одному комп'ютері. Хоча фізично воно має "розподілені" характеристики, в цілому все ще контролюється централізованими установами для координації та синхронізації, зазвичай працює в середовищі високошвидкісних локальних мереж, використовуючи технологію NVLink для швидкого з'єднання, де головний вузол координує всі підзавдання. Основні методи включають:

• Паралельність даних: кожен вузол навчає різні дані, параметри спільні, потрібно відповідати вагам моделі
• Модельне паралельне обчислення: розміщення різних частин моделі на різних вузлах для досягнення високої масштабованості
• Паралельне виконання: поетапне послідовне виконання, підвищення пропускної здатності
• Тензорне паралельне обчислення: детальне розділення матричних обчислень, підвищення паралельної гранулярності

Розподілене навчання є комбінацією "централізованого контролю + розподіленого виконання", аналогічно тому, як один і той же керівник дистанційно керує співпрацею кількох "офісних" працівників для виконання завдання. В даний час майже всі основні великі моделі (GPT-4, Gemini, LLaMA та інші ) створюються саме таким чином.

Децентралізація тренування означає більш відкритий і стійкий до цензури шлях у майбутнє. Його основні характеристики полягають у тому, що: кілька взаємно недовірливих вузлів ( можуть бути домашніми комп'ютерами, хмарними GPU або крайовими пристроями ), які спільно виконують навчальні завдання без централізованого координатора, зазвичай через протокол, що забезпечує розподіл завдань та співпрацю, і з використанням механізму криптостимулювання для забезпечення чесності внесків. Основними викликами, з якими стикається ця модель, є:

• Гетерогенність пристроїв та складність розподілу: висока складність координації гетерогенних пристроїв, низька ефективність розподілу завдань
• Проблема ефективності зв'язку: нестабільний мережевий зв'язок, очевидні проблеми з синхронізацією градієнтів
• Відсутність довіреного виконання: брак довіреного середовища виконання, важко перевірити, чи дійсно вузли беруть участь у обчисленнях
• Відсутність єдиного координаційного центру: немає центрального диспетчера, розподіл завдань, механізм відкату помилок складний

Децентралізація тренування можна зрозуміти як: група глобальних добровольців, які кожен вносять обчислювальну потужність для спільного тренування моделі, але "справді здійсненна масштабна децентралізація тренування" все ще є системній інженерній викликом, що включає системну архітектуру, комунікаційні протоколи, криптографічну безпеку, економічні механізми, верифікацію моделей та інші аспекти, але чи може бути "спільно ефективно + стимулюючи чесність + правильні результати" поки що знаходиться на ранній стадії прототипування.

Федеративне навчання як перехідна форма між дистрибутивним та децентралізованим, підкреслює локальне збереження даних та централізовану агрегацію параметрів моделі, підходить для сценаріїв, що акцентують увагу на дотриманні конфіденційності, таких як охорона здоров'я, фінанси (. Федеративне навчання має інженерну структуру дистрибутивного навчання та локальні кооперативні можливості, одночасно володіючи перевагами розподілених даних у децентралізованому навчанні, але все ще залежить від надійного координатора і не має повністю відкритих і антицензурних характеристик. Його можна розглядати як "контрольоване децентралізоване" рішення в умовах дотримання конфіденційності, що є відносно м'яким у завданнях навчання, структурах довіри та механізмах зв'язку, що робить його більш підходящим для промислових перехідних архітектур.

![Святий Грааль Crypto AI: Децентралізація навчання на передовій])https://img-cdn.gateio.im/webp-social/moments-adb92bc4dfbaf26863cb0b4bb1081cd7.webp(

Децентралізація тренувань: межі, можливості та реальні шляхи

З точки зору навчальних парадигм, децентралізоване навчання не підходить для всіх типів завдань. У деяких сценаріях, через складну структуру завдання, надзвичайно великі вимоги до ресурсів або великі труднощі у співпраці, воно природно не підходить для ефективного виконання між гетерогенними, недовіреними вузлами. Наприклад, навчання великих моделей часто залежить від великої пам'яті, низької затримки та високої пропускної здатності, що ускладнює їх ефективне розподіл та синхронізацію в відкритих мережах; завдання, що мають сильні обмеження щодо конфіденційності даних і суверенітету ), такі як медицина, фінанси, конфіденційні дані (, обмежені законодавчими вимогами та етичними обмеженнями, не можуть бути відкрито поділені; а завдання ), які не мають бази для співпраці, такі як закриті моделі підприємств або навчання внутрішніх прототипів (, позбавлені зовнішніх стимулів для участі. Ці межі разом формують реальні обмеження сучасного децентралізованого навчання.

Але це не означає, що децентралізоване навчання є хибним твердженням. Насправді, у типах завдань зі структурною легкістю, простотою паралелізації та можливістю стимулювання, децентралізоване навчання демонструє явні перспективи застосування. Включаючи, але не обмежуючись: LoRA доопрацювання, завдання пост-навігації з поведінки ), такі як RLHF, DPO (, навчання та маркування даних через краудсорсинг, тренування малих базових моделей з контрольованими ресурсами, а також сценарії кооперативного навчання з участю крайових пристроїв. Ці завдання загалом мають високу паралельність, низьку зв'язаність і витримують гетерогенну обчислювальну потужність, що робить їх дуже придатними для співпраці через P2P мережі, протокол Swarm, розподілені оптимізатори та інші методи.

![Святий Грааль Crypto AI: Децентралізація навчання на передовій])https://img-cdn.gateio.im/webp-social/moments-69eb6c2dab3d6284b890285c71e7a47f.webp(

Децентралізація тренування класичних проектів аналіз

Наразі в передових сферах децентралізованого навчання та федеративного навчання представницькими блокчейн-проектами є Prime Intellect, Pluralis.ai, Gensyn, Nous Research та Flock.io. З точки зору технологічної інноваційності та складності інженерної реалізації, Prime Intellect, Nous Research та Pluralis.ai запропонували багато оригінальних досліджень у системній архітектурі та дизайні алгоритмів, представляючи сучасні напрямки теоретичних досліджень; тоді як шлях реалізації Gensyn та Flock.io є відносно зрозумілим, і вже можна побачити перші етапи інженерного прогресу. У цій статті буде поетапно розглянуто основні технології та інженерну архітектуру за цими п'ятьма проектами, а також додатково досліджено їхні відмінності та взаємодоповнюючі стосунки у системі децентралізованого навчання ШІ.

![Крипто AI святець: Децентралізація навчання на передньому краї досліджень])https://img-cdn.gateio.im/webp-social/moments-b11af8d10db6e8baa0c19e87aa18dd82.webp(

) Prime Intellect: тренувальна траєкторія верифікованої посиленої навчальної кооперативної мережі піонера

Prime Intellect прагне створити мережу навчання ШІ, яка не потребує довіри, дозволяючи кожному брати участь у навчанні та отримувати достовірні винагороди за свої обчислювальні внески. Prime Intellect сподівається створити децентралізовану систему навчання ШІ з перевіряєтьсями, відкритістю та повноцінними механізмами стимулювання через три основні модулі: PRIME-RL + TOPLOC + SHARDCAST.

01, Структура протоколу Prime Intellect та цінність ключових модулів

![Святий Грааль Crypto AI: Децентралізація тренувань на передовій]###https://img-cdn.gateio.im/webp-social/moments-0a322ea8b70c3d00d8d99606559c1864.webp(

)# 02, Детальне пояснення ключових механізмів тренування Prime Intellect

#PRIME-RL: Архітектура завдань асинхронного навчання з підкріпленням з декомпозицією

PRIME-RL є моделлю завдань та виконанням, розробленою Prime Intellect для децентралізованих навчальних сценаріїв, спеціально створеною для гетерогенних мереж та асинхронної участі. Він використовує посилене навчання як пріоритетний об'єкт адаптації, структурно декомпонує процеси навчання, інференції та завантаження ваг, дозволяючи кожному навчальному вузлу незалежно виконувати цикли завдань локально та співпрацювати через стандартизовані інтерфейси з механізмами верифікації та агрегації. У порівнянні з традиційними процесами контрольованого навчання, PRIME-RL більш підходить для реалізації еластичного навчання в середовищах без централізованого розподілу, що зменшує складність системи та закладає основу для підтримки паралельного виконання кількох завдань та еволюції стратегій.

#TOPLOC:Легковагова система валідації поведінки тренування

TOPLOC###Довірене спостереження та перевірка політики-локальності( є основним механізмом перевірки навчання, запропонованим Prime Intellect, який використовується для визначення, чи дійсно вузол на основі спостережуваних даних здійснив ефективне навчання стратегії. На відміну від важких рішень, таких як ZKML, TOPLOC не покладається на повний перерахунок моделі, а завершить верифікацію легковажної структури, аналізуючи локальну узгодженість траєкторії між "послідовністю спостережень ↔ оновленням стратегії". Вперше він перетворює поведінкові траєкторії навчального процесу на об'єкти, які можна перевірити, що є ключовим нововведенням для реалізації розподілу навчальних винагород без необхідності довіри, що забезпечує життєздатний шлях для створення аудитованої, заохочувальної децентралізованої мережі спільного навчання.

#SHARDCAST: Асинхронна вага агрегації та поширення протоколу

SHARDCAST є протоколом вагового поширення та агрегування, розробленим Prime Intellect, оптимізованим для асинхронних, обмежених за пропускною здатністю та з мінливим станом вузлів реальних мережевих середовищ. Він поєднує механізм gossip-розповсюдження та стратегії локальної синхронізації, що дозволяє кільком вузлам продовжувати подавати часткові оновлення в умовах різних станів синхронізації, досягаючи поступової конвергенції ваг та еволюції багатьох версій. В порівнянні з централізованими або синхронними методами AllReduce, SHARDCAST значно підвищує масштабованість і стійкість до збоїв децентралізованого навчання, що є основою для побудови стабільного консенсусу ваг та безперервної ітерації навчання.

#OpenDiLoCo:Рідкісний асинхронний комунікаційний фреймворк

OpenDiLoCo є незалежно реалізованою та відкритою оптимізаційною рамкою зв'язку, створеною командою Prime Intellect на основі концепції DiLoCo, запропонованої DeepMind, яка спеціально розроблена для вирішення викликів, що часто виникають під час децентралізованого навчання, таких як обмежена пропускна здатність, гетерогенність пристроїв та нестабільність вузлів. Його архітектура базується на паралельній обробці даних; шляхом побудови розріджених топологічних структур, таких як кільцеві, розширювальні та малосвітові, вона уникає високих витрат на зв'язок, пов'язаних з глобальною синхронізацією, і може здійснювати спільне навчання моделі, покладаючись лише на сусідні вузли. В поєднанні з асинхронним оновленням та механізмом відновлення після збоїв, OpenDiLoCo дозволяє споживчим GPU та крайовим пристроям стабільно брати участь у навчальних завданнях, значно підвищуючи можливість участі у глобальному співпраці у навчанні, що є однією з ключових комунікаційних інфраструктур для побудови децентралізованих навчальних мереж.

#PCCL:Бібліотека співпраці в комунікаціях

PCCL)Prime Collective Communication Library( є легким комунікаційним бібліотекою, створеною Prime Intellect для децентралізованого середовища навчання AI, яка має на меті вирішити проблеми адаптації традиційних комунікаційних бібліотек ), таких як NCCL, Gloo(, у гетерогенних пристроях і мережах з низькою пропускною здатністю. PCCL підтримує розріджену топологію, стиснення градієнтів, синхронізацію з низькою точністю та відновлення з контрольних точок, може працювати на споживчих GPU та нестабільних вузлах, є базовим компонентом, що забезпечує асинхронні комунікаційні можливості протоколу OpenDiLoCo. Він значно підвищує толерантність до пропускної здатності навчальних мереж і сумісність пристроїв, відкриваючи "остання миля" комунікаційної основи для створення справді відкритих, бездоверчих мереж спільного навчання.

![Святий Грааль Crypto AI: Децентралізація тренувань на передовій досліджень])https://img-cdn.gateio.im/webp-social/moments-f86b109da66a0a4c9239221650a4a0a8.webp(

)# 03、Prime Intellect стимулююча мережа та розподіл ролей

Prime Intellect побудував мережу навчання без дозволу, що підлягає верифікації і має економічні стимули, що дозволяє будь-кому брати участь у завданнях та отримувати винагороду на основі реального внеску. Протокол працює на основі трьох основних ролей:

• Ініціатор завдання: визначення середовища навчання, початкової моделі, функції винагороди та стандартів валідації
• Тренувальний вузол: виконання локального навчання, подання оновлень ваги та спостереження за траєкторією
• Верифікаційні вузли: використання механізму TOPLOC для перевірки достовірності навчальної поведінки та участь у розрахунку винагороди та агрегації стратегій

Основний процес протоколу включає випуск завдань, навчання вузлів, перевірку траєкторії, ###SHARDCAST( агрегації ваги та розподіл винагород.