Децентрализация тренировки:探索 нового парадигмы развития ИИ
В полной цепочке создания ценности AI, обучение модели является этапом с наибольшими затратами ресурсов и самым высоким техническим барьером, который напрямую определяет предельные возможности модели и фактическую эффективность применения. В отличие от легковесных вызовов на этапе вывода, процесс обучения требует постоянных больших затрат вычислительной мощности, сложных процессов обработки данных и поддержки высокоинтенсивных алгоритмов оптимизации, что делает его настоящей "тяжелой промышленностью" в построении AI-систем. С точки зрения архитектурной парадигмы, способы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, которое является основным предметом обсуждения в данной статье.
Централизованное обучение является наиболее распространенным традиционным методом, который выполняется единственным учреждением в местном высокопроизводительном кластере, где весь процесс обучения, от аппаратного обеспечения, базового программного обеспечения, системы управления кластером до всех компонентов обучающего фреймворка, координируется единой управляющей системой. Эта глубокая взаимосвязанность архитектуры позволяет оптимизировать эффективность совместного использования памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает его особенно подходящим для обучения масштабных моделей, таких как GPT и Gemini, обладая высокими показателями эффективности и контролируемыми ресурсами, но одновременно сталкивается с проблемами монополизации данных, барьеров для ресурсов, потребления энергии и риска единой точки отказа.
Распределенное обучение является основным способом обучения больших моделей в настоящее время, его суть заключается в том, чтобы разбить задачу обучения модели на части и распределить их для совместного выполнения на нескольких машинах, чтобы преодолеть ограничения вычислений и хранения на одной машине. Хотя в физическом плане он имеет "Децентрализация" характеристики, в целом он все еще контролируется и координируется централизованной организацией, часто работает в среде высокоскоростной локальной сети, используя технологию высокоскоростной межсоединительной шины NVLink, где главный узел координирует все подзадачи. Основные методы включают:
Параллельные данные: каждый узел обучает разные данные, параметры совместно используются, необходимо сопоставить веса модели
Параллельное моделирование: размещение различных частей модели на разных узлах для достижения высокой масштабируемости
Параллельные каналы: поэтапное последовательное выполнение, повышение пропускной способности
Тензорное параллелизм: детализированное разделение матричных вычислений, повышение степени параллелизма
Распределенное обучение представляет собой комбинацию "централизованного управления + распределенного выполнения", аналогично тому, как один и тот же начальник удаленно управляет сотрудниками в нескольких "офисах", чтобы совместно выполнять задачи. В настоящее время почти все основные большие модели (GPT-4, Gemini, LLaMA и другие ) обучаются именно таким образом.
Децентрализация тренировки означает более открытую и антикоррупционную будущую траекторию. Его ключевые характеристики заключаются в следующем: несколько недоверительных узлов ( могут быть домашними компьютерами, облачными GPU или краевыми устройствами ), которые совместно выполняют задачи обучения без центрального координатора, обычно через протокол, инициирующий распределение задач и сотрудничество, а также с помощью криптостимулов для обеспечения честности вклада. Основные вызовы, с которыми сталкивается эта модель, включают:
Трудности гетерогенности устройств и разделения: высокая сложность координации гетерогенных устройств, низкая эффективность разделения задач
Отсутствие доверяемого выполнения: недостаток доверяемой среды выполнения, затрудняющий проверку того, действительно ли узлы участвуют в вычислениях.
Отсутствие единой координации: нет центрального диспетчера, распределение задач и механизм отката исключений сложны
Децентрализация тренировки можно понять как: группа глобальных добровольцев, каждый из которых вносит вычислительную мощность для совместной тренировки модели, но "действительно осуществимая крупномасштабная децентрализация тренировки" все еще является системной инженерной задачей, затрагивающей системную архитектуру, коммуникационные протоколы, криптографическую безопасность, экономические механизмы, валидацию моделей и множество других аспектов, но возможность "совместной эффективности + стимула к честности + правильных результатов" все еще находится на ранней стадии прототипирования.
Федеративное обучение, как переходная форма между распределенной и Децентрализация, подчеркивает локальное сохранение данных и централизованную агрегацию параметров модели, подходит для сценариев, ориентированных на соблюдение конфиденциальности, таких как медицина, финансы (. Федеративное обучение обладает инженерной структурой распределенного обучения и локальными кооперативными возможностями, в то же время обладая преимуществами децентрализованного обучения с распределенными данными, но все же зависит от доверенной координирующей стороны и не обладает полностью открытыми и антицензурными характеристиками. Это можно рассматривать как "контролируемую децентрализацию" в контексте соблюдения конфиденциальности, которая относительно мягка в задачах обучения, структуре доверия и механизмах связи, более подходящая в качестве переходной архитектуры для промышленного развертывания.
![Святой Грааль Crypto AI: передовые исследования децентрализованного обучения])https://img-cdn.gateio.im/webp-social/moments-adb92bc4dfbaf26863cb0b4bb1081cd7.webp(
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях из-за сложной структуры задач, высоких требований к ресурсам или трудностей в сотрудничестве, она естественно не подходит для эффективного выполнения на гетерогенных, недоверенных узлах. Например, обучение больших моделей часто требует высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет их эффективное разделение и синхронизацию в открытых сетях; задачи с сильными ограничениями на конфиденциальность данных и суверенитет, такие как медицина, финансы и конфиденциальные данные ), подвержены юридическим и этическим ограничениям, что делает невозможным их открытое распространение; а задачи без основы для сотрудничества, такие как закрытые модели предприятий или обучение внутренних прототипов (, лишены внешнего стимула для участия. Эти ограничения вместе составляют реальные ограничения текущего Децентрализованного обучения.
Но это не означает, что Децентрализация тренировки является ложной задачей. На самом деле, в задачах с легкой структурой, которые легко параллелизируются и могут быть стимулированы, Децентрализация тренировки демонстрирует четкие перспективы применения. Включая, но не ограничиваясь: LoRA тонкая настройка, задачи постобучения, связанные с выравниванием поведения ), такие как RLHF, DPO (, задачи краудсорсинга данных и аннотирования, обучение небольших базовых моделей с контролируемыми ресурсами, а также сценарии совместного обучения с участием крайних устройств. Эти задачи обычно обладают высокой параллельностью, низкой связанностью и способностью терпеть гетерогенные вычислительные мощности, что делает их очень подходящими для совместного обучения через P2P сети, протоколы Swarm, распределенные оптимизаторы и т.д.
![Святой Грааль Crypto AI: передовые исследования децентрализованного обучения])https://img-cdn.gateio.im/webp-social/moments-69eb6c2dab3d6284b890285c71e7a47f.webp(
Децентрализация тренировки классических проектов анализа
В настоящее время в области Децентрализации обучения и федеративного обучения ведущими блокчейн-проектами являются Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технической инновационности и сложности инженерного исполнения, Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в области системной архитектуры и проектирования алгоритмов, представляя передовые направления текущих теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, и уже можно увидеть начальные успехи в инженерной реализации. В данной статье последовательно будут проанализированы ключевые технологии и инженерные архитектуры этих пяти проектов, а также более подробно обсуждаются их различия и взаимодополняющие отношения в системе Децентрализованного AI обучения.
![Крипто AI святой грааль: Децентрализация тренировки на переднем крае исследований])https://img-cdn.gateio.im/webp-social/moments-b11af8d10db6e8baa0c19e87aa18dd82.webp(
) Prime Intellect: тренируемая траектория, проверяемая на соответствие, укрепленная сеть сотрудничества.
Prime Intellect нацелен на создание сети обучения ИИ, не требующей доверия, позволяя каждому участвовать в обучении и получать заслуженные вознаграждения за свои вычислительные вклады. Prime Intellect стремится создать систему децентрализованного обучения ИИ с проверяемостью, открытостью и полноценным механизмом стимулов с помощью трех основных модулей: PRIME-RL + TOPLOC + SHARDCAST.
(# 01、Структура стеков протокола Prime Intellect и ценность ключевых модулей
![Святой Грааль Crypto AI: Децентрализация тренировки на передовом уровне])https://img-cdn.gateio.im/webp-social/moments-0a322ea8b70c3d00d8d99606559c1864.webp###
02, Подробное объяснение ключевых механизмов тренировки Prime Intellect
#PRIME-RL: Архитектура задач асинхронного обучения с подкреплением с декомпозицией
PRIME-RL является фреймворком моделирования и выполнения задач, разработанным Prime Intellect для Децентрализация тренировочных сценариев, специально предназначенным для гетерогенных сетей и асинхронного участия. Он использует обучение с подкреплением в качестве приоритетного объекта адаптации, структурно разъединяя процессы обучения, вывода и загрузки весов, что позволяет каждому узлу обучения независимо выполнять циклы задач локально и взаимодействовать с механизмами валидации и агрегации через стандартизированные интерфейсы. По сравнению с традиционными процессами контроля обучения, PRIME-RL более подходит для реализации гибкого обучения в средах без централизованного управления, что снижает сложность системы и закладывает основу для поддержки параллельного выполнения множества задач и эволюции стратегий.
#TOPLOC:Легковесный механизм верификации поведения обучения
TOPLOC(Доверительное Наблюдение и Проверка Политики-Локальности) является основной механизмом обучаемой верификации, предложенным Prime Intellect, который используется для определения того, действительно ли узел завершил эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не полагается на полное пересчитывание модели, а вместо этого осуществляет верификацию легковесной структуры, анализируя локальную согласованность траекторий между "последовательностью наблюдений ↔ обновлением стратегии". Он впервые преобразует поведенческие траектории верификации в обучающем процессе в верифицируемые объекты, что является ключевым новшеством для реализации распределения вознаграждений за обучение без доверия и предоставляет жизнеспособный путь для создания аудитируемой и стимулирующей сети децентрализованного совместного обучения.
#SHARDCAST: Асинхронный протокол агрегации и распространения весов
SHARDCAST — это протокол распространения и агрегации весов, разработанный Prime Intellect, оптимизированный для реальных сетевых условий с асинхронным, ограниченным по ширине канала и изменчивым состоянием узлов. Он сочетает в себе механизм распространения gossip и локальную синхронизацию, позволяя нескольким узлам продолжать отправлять частичные обновления в несинхронизированном состоянии, что приводит к прогрессивной сходимости весов и многоверсионной эволюции. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно увеличивает масштабируемость и устойчивость к сбоям в децентрализованном обучении, являясь основным основанием для построения стабильного консенсуса по весам и непрерывной итерации обучения.
#OpenDiLoCo:Разреженная асинхронная коммуникационная структура
OpenDiLoCo — это независимая реализация и проект с открытым исходным кодом оптимизированной коммуникационной структуры, разработанной командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind. Она предназначена для решения таких проблем, как ограниченная пропускная способность, гетерогенные устройства и нестабильные узлы, которые часто встречаются в процессе децентрализованного обучения. Архитектура основана на параллельной обработке данных и использует разреженные топологические структуры, такие как Ring, Expander и Small-World, чтобы избежать высоких затрат на коммуникацию, связанных с глобальной синхронизацией, полагаясь только на соседние узлы для совместного обучения модели. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и периферийным устройствам стабильно участвовать в задачах обучения, значительно повышая доступность глобального сотрудничества в обучении и становясь одной из ключевых коммуникационных инфраструктур для создания сети децентрализованного обучения.
#PCCL:Библиотека совместной связи
PCCL###Prime Collective Communication Library( является легковесной библиотекой связи, созданной Prime Intellect специально для децентрализованной среды обучения AI, направленной на решение проблем адаптации традиционных библиотек связи), таких как NCCL и Gloo(, в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление с контрольной точки, может работать на потребительских GPU и нестабильных узлах, является основным компонентом, поддерживающим асинхронные возможности связи протокола OpenDiLoCo. Он значительно повышает пропускную способность и совместимость устройств сети обучения, открывая "последнюю милю" коммуникационной инфраструктуры для создания действительно открытой, бездоверительной сети совместного обучения.
![Крипто ИИ святой Грааль: Децентрализация обучения передовые исследования])https://img-cdn.gateio.im/webp-social/moments-f86b109da66a0a4c9239221650a4a0a8.webp(
)# 03, Сеть стимулирования и ролевое подразделение Prime Intellect
Prime Intellect создал обучающую сеть без разрешений, которую можно проверить и которая имеет экономические стимулы, позволяя любому участвовать в задачах и получать вознаграждение на основе реального вклада. Протокол работает на основе трех основных ролей:
Инициатор задачи: определение тренировочной среды, начальной модели, функции вознаграждения и стандартов валидации
Узел обучения: выполнение локального обучения, отправка обновлений весов и наблюдаемых траекторий
Узлы проверки: использование механизма TOPLOC для проверки подлинности тренировочного поведения и участие в расчете вознаграждений и агрегации стратегий
Ядро процесса соглашения включает в себя публикацию задач, обучение узлов, проверку траекторий, агрегацию весов (SHARDCAST) и распределение вознаграждений, формируя окружение вокруг "
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
10 Лайков
Награда
10
6
Поделиться
комментарий
0/400
BlockchainFries
· 07-18 08:19
про хорошо объясняет BTC
Посмотреть ОригиналОтветить0
CryptoNomics
· 07-16 20:20
*вздох* статистически говоря, централизованное обучение демонстрирует субоптимальный равновесие Нэша при стохастических ограничениях ресурсов... любители.
Посмотреть ОригиналОтветить0
PumpDoctrine
· 07-16 20:17
Цок-цок, как можно говорить о Децентрализации, если базовый код не проницаем?
Посмотреть ОригиналОтветить0
Fren_Not_Food
· 07-16 20:15
Это не имеет никакого отношения к заработку.. я не понимаю.
Посмотреть ОригиналОтветить0
Web3ProductManager
· 07-16 20:13
давайте быстро посчитаем - децентрализованное обучение может увеличить нашу воронку приобретения пользователей в 10 раз по сравнению с традиционными моделями... здесь видно большой потенциал соответствия продукта рынку, если честно.
Децентрализация AI тренировки новой парадигмы: от Prime Intellect до INTELLECT-2
Децентрализация тренировки:探索 нового парадигмы развития ИИ
В полной цепочке создания ценности AI, обучение модели является этапом с наибольшими затратами ресурсов и самым высоким техническим барьером, который напрямую определяет предельные возможности модели и фактическую эффективность применения. В отличие от легковесных вызовов на этапе вывода, процесс обучения требует постоянных больших затрат вычислительной мощности, сложных процессов обработки данных и поддержки высокоинтенсивных алгоритмов оптимизации, что делает его настоящей "тяжелой промышленностью" в построении AI-систем. С точки зрения архитектурной парадигмы, способы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, которое является основным предметом обсуждения в данной статье.
Централизованное обучение является наиболее распространенным традиционным методом, который выполняется единственным учреждением в местном высокопроизводительном кластере, где весь процесс обучения, от аппаратного обеспечения, базового программного обеспечения, системы управления кластером до всех компонентов обучающего фреймворка, координируется единой управляющей системой. Эта глубокая взаимосвязанность архитектуры позволяет оптимизировать эффективность совместного использования памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает его особенно подходящим для обучения масштабных моделей, таких как GPT и Gemini, обладая высокими показателями эффективности и контролируемыми ресурсами, но одновременно сталкивается с проблемами монополизации данных, барьеров для ресурсов, потребления энергии и риска единой точки отказа.
Распределенное обучение является основным способом обучения больших моделей в настоящее время, его суть заключается в том, чтобы разбить задачу обучения модели на части и распределить их для совместного выполнения на нескольких машинах, чтобы преодолеть ограничения вычислений и хранения на одной машине. Хотя в физическом плане он имеет "Децентрализация" характеристики, в целом он все еще контролируется и координируется централизованной организацией, часто работает в среде высокоскоростной локальной сети, используя технологию высокоскоростной межсоединительной шины NVLink, где главный узел координирует все подзадачи. Основные методы включают:
Распределенное обучение представляет собой комбинацию "централизованного управления + распределенного выполнения", аналогично тому, как один и тот же начальник удаленно управляет сотрудниками в нескольких "офисах", чтобы совместно выполнять задачи. В настоящее время почти все основные большие модели (GPT-4, Gemini, LLaMA и другие ) обучаются именно таким образом.
Децентрализация тренировки означает более открытую и антикоррупционную будущую траекторию. Его ключевые характеристики заключаются в следующем: несколько недоверительных узлов ( могут быть домашними компьютерами, облачными GPU или краевыми устройствами ), которые совместно выполняют задачи обучения без центрального координатора, обычно через протокол, инициирующий распределение задач и сотрудничество, а также с помощью криптостимулов для обеспечения честности вклада. Основные вызовы, с которыми сталкивается эта модель, включают:
Децентрализация тренировки можно понять как: группа глобальных добровольцев, каждый из которых вносит вычислительную мощность для совместной тренировки модели, но "действительно осуществимая крупномасштабная децентрализация тренировки" все еще является системной инженерной задачей, затрагивающей системную архитектуру, коммуникационные протоколы, криптографическую безопасность, экономические механизмы, валидацию моделей и множество других аспектов, но возможность "совместной эффективности + стимула к честности + правильных результатов" все еще находится на ранней стадии прототипирования.
Федеративное обучение, как переходная форма между распределенной и Децентрализация, подчеркивает локальное сохранение данных и централизованную агрегацию параметров модели, подходит для сценариев, ориентированных на соблюдение конфиденциальности, таких как медицина, финансы (. Федеративное обучение обладает инженерной структурой распределенного обучения и локальными кооперативными возможностями, в то же время обладая преимуществами децентрализованного обучения с распределенными данными, но все же зависит от доверенной координирующей стороны и не обладает полностью открытыми и антицензурными характеристиками. Это можно рассматривать как "контролируемую децентрализацию" в контексте соблюдения конфиденциальности, которая относительно мягка в задачах обучения, структуре доверия и механизмах связи, более подходящая в качестве переходной архитектуры для промышленного развертывания.
![Святой Грааль Crypto AI: передовые исследования децентрализованного обучения])https://img-cdn.gateio.im/webp-social/moments-adb92bc4dfbaf26863cb0b4bb1081cd7.webp(
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях из-за сложной структуры задач, высоких требований к ресурсам или трудностей в сотрудничестве, она естественно не подходит для эффективного выполнения на гетерогенных, недоверенных узлах. Например, обучение больших моделей часто требует высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет их эффективное разделение и синхронизацию в открытых сетях; задачи с сильными ограничениями на конфиденциальность данных и суверенитет, такие как медицина, финансы и конфиденциальные данные ), подвержены юридическим и этическим ограничениям, что делает невозможным их открытое распространение; а задачи без основы для сотрудничества, такие как закрытые модели предприятий или обучение внутренних прототипов (, лишены внешнего стимула для участия. Эти ограничения вместе составляют реальные ограничения текущего Децентрализованного обучения.
Но это не означает, что Децентрализация тренировки является ложной задачей. На самом деле, в задачах с легкой структурой, которые легко параллелизируются и могут быть стимулированы, Децентрализация тренировки демонстрирует четкие перспективы применения. Включая, но не ограничиваясь: LoRA тонкая настройка, задачи постобучения, связанные с выравниванием поведения ), такие как RLHF, DPO (, задачи краудсорсинга данных и аннотирования, обучение небольших базовых моделей с контролируемыми ресурсами, а также сценарии совместного обучения с участием крайних устройств. Эти задачи обычно обладают высокой параллельностью, низкой связанностью и способностью терпеть гетерогенные вычислительные мощности, что делает их очень подходящими для совместного обучения через P2P сети, протоколы Swarm, распределенные оптимизаторы и т.д.
![Святой Грааль Crypto AI: передовые исследования децентрализованного обучения])https://img-cdn.gateio.im/webp-social/moments-69eb6c2dab3d6284b890285c71e7a47f.webp(
Децентрализация тренировки классических проектов анализа
В настоящее время в области Децентрализации обучения и федеративного обучения ведущими блокчейн-проектами являются Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технической инновационности и сложности инженерного исполнения, Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в области системной архитектуры и проектирования алгоритмов, представляя передовые направления текущих теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, и уже можно увидеть начальные успехи в инженерной реализации. В данной статье последовательно будут проанализированы ключевые технологии и инженерные архитектуры этих пяти проектов, а также более подробно обсуждаются их различия и взаимодополняющие отношения в системе Децентрализованного AI обучения.
![Крипто AI святой грааль: Децентрализация тренировки на переднем крае исследований])https://img-cdn.gateio.im/webp-social/moments-b11af8d10db6e8baa0c19e87aa18dd82.webp(
) Prime Intellect: тренируемая траектория, проверяемая на соответствие, укрепленная сеть сотрудничества.
Prime Intellect нацелен на создание сети обучения ИИ, не требующей доверия, позволяя каждому участвовать в обучении и получать заслуженные вознаграждения за свои вычислительные вклады. Prime Intellect стремится создать систему децентрализованного обучения ИИ с проверяемостью, открытостью и полноценным механизмом стимулов с помощью трех основных модулей: PRIME-RL + TOPLOC + SHARDCAST.
(# 01、Структура стеков протокола Prime Intellect и ценность ключевых модулей
![Святой Грааль Crypto AI: Децентрализация тренировки на передовом уровне])https://img-cdn.gateio.im/webp-social/moments-0a322ea8b70c3d00d8d99606559c1864.webp###
02, Подробное объяснение ключевых механизмов тренировки Prime Intellect
#PRIME-RL: Архитектура задач асинхронного обучения с подкреплением с декомпозицией
PRIME-RL является фреймворком моделирования и выполнения задач, разработанным Prime Intellect для Децентрализация тренировочных сценариев, специально предназначенным для гетерогенных сетей и асинхронного участия. Он использует обучение с подкреплением в качестве приоритетного объекта адаптации, структурно разъединяя процессы обучения, вывода и загрузки весов, что позволяет каждому узлу обучения независимо выполнять циклы задач локально и взаимодействовать с механизмами валидации и агрегации через стандартизированные интерфейсы. По сравнению с традиционными процессами контроля обучения, PRIME-RL более подходит для реализации гибкого обучения в средах без централизованного управления, что снижает сложность системы и закладывает основу для поддержки параллельного выполнения множества задач и эволюции стратегий.
#TOPLOC:Легковесный механизм верификации поведения обучения
TOPLOC(Доверительное Наблюдение и Проверка Политики-Локальности) является основной механизмом обучаемой верификации, предложенным Prime Intellect, который используется для определения того, действительно ли узел завершил эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не полагается на полное пересчитывание модели, а вместо этого осуществляет верификацию легковесной структуры, анализируя локальную согласованность траекторий между "последовательностью наблюдений ↔ обновлением стратегии". Он впервые преобразует поведенческие траектории верификации в обучающем процессе в верифицируемые объекты, что является ключевым новшеством для реализации распределения вознаграждений за обучение без доверия и предоставляет жизнеспособный путь для создания аудитируемой и стимулирующей сети децентрализованного совместного обучения.
#SHARDCAST: Асинхронный протокол агрегации и распространения весов
SHARDCAST — это протокол распространения и агрегации весов, разработанный Prime Intellect, оптимизированный для реальных сетевых условий с асинхронным, ограниченным по ширине канала и изменчивым состоянием узлов. Он сочетает в себе механизм распространения gossip и локальную синхронизацию, позволяя нескольким узлам продолжать отправлять частичные обновления в несинхронизированном состоянии, что приводит к прогрессивной сходимости весов и многоверсионной эволюции. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно увеличивает масштабируемость и устойчивость к сбоям в децентрализованном обучении, являясь основным основанием для построения стабильного консенсуса по весам и непрерывной итерации обучения.
#OpenDiLoCo:Разреженная асинхронная коммуникационная структура
OpenDiLoCo — это независимая реализация и проект с открытым исходным кодом оптимизированной коммуникационной структуры, разработанной командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind. Она предназначена для решения таких проблем, как ограниченная пропускная способность, гетерогенные устройства и нестабильные узлы, которые часто встречаются в процессе децентрализованного обучения. Архитектура основана на параллельной обработке данных и использует разреженные топологические структуры, такие как Ring, Expander и Small-World, чтобы избежать высоких затрат на коммуникацию, связанных с глобальной синхронизацией, полагаясь только на соседние узлы для совместного обучения модели. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и периферийным устройствам стабильно участвовать в задачах обучения, значительно повышая доступность глобального сотрудничества в обучении и становясь одной из ключевых коммуникационных инфраструктур для создания сети децентрализованного обучения.
#PCCL:Библиотека совместной связи
PCCL###Prime Collective Communication Library( является легковесной библиотекой связи, созданной Prime Intellect специально для децентрализованной среды обучения AI, направленной на решение проблем адаптации традиционных библиотек связи), таких как NCCL и Gloo(, в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление с контрольной точки, может работать на потребительских GPU и нестабильных узлах, является основным компонентом, поддерживающим асинхронные возможности связи протокола OpenDiLoCo. Он значительно повышает пропускную способность и совместимость устройств сети обучения, открывая "последнюю милю" коммуникационной инфраструктуры для создания действительно открытой, бездоверительной сети совместного обучения.
![Крипто ИИ святой Грааль: Децентрализация обучения передовые исследования])https://img-cdn.gateio.im/webp-social/moments-f86b109da66a0a4c9239221650a4a0a8.webp(
)# 03, Сеть стимулирования и ролевое подразделение Prime Intellect
Prime Intellect создал обучающую сеть без разрешений, которую можно проверить и которая имеет экономические стимулы, позволяя любому участвовать в задачах и получать вознаграждение на основе реального вклада. Протокол работает на основе трех основных ролей:
Ядро процесса соглашения включает в себя публикацию задач, обучение узлов, проверку траекторий, агрегацию весов (SHARDCAST) и распределение вознаграждений, формируя окружение вокруг "