Исследование передового опыта Децентрализация тренировки: Священный Грааль Crypto AI
В полной цепочке создания ценности ИИ обучение моделей является этапом с наибольшим потреблением ресурсов и высоким технологическим барьером, непосредственно определяющим предельные возможности моделей и их фактическую эффективность в приложениях. В отличие от легковесных вызовов на этапе вывода, процесс обучения требует постоянных вложений в вычислительную мощность в больших масштабах, сложных процессов обработки данных и поддержки высокоинтенсивных алгоритмов оптимизации, что является настоящей "тяжелой промышленностью" в построении систем ИИ. С точки зрения архитектурных парадигм, способы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, которое обсуждается в данной статье.
Централизованное обучение – это наиболее распространённый традиционный способ, при котором единая организация завершает весь процесс обучения в локальном высокопроизводительном кластере, от аппаратного обеспечения, программного обеспечения нижнего уровня, систем управления кластером до всех компонентов обучающей платформы, которые координируются единой управляющей системой. Эта глубоко скоординированная архитектура обеспечивает максимальную эффективность совместного использования памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает её очень подходящей для обучения крупномасштабных моделей, таких как GPT, Gemini, обладая высокой эффективностью и контролем ресурсов, но одновременно сталкиваясь с проблемами монополизации данных, барьеров для ресурсов, потребления энергии и рисков единой точки.
Распределённое обучение является основным способом обучения больших моделей в настоящее время. Его суть заключается в разбиении задач обучения модели и распределении их на несколько машин для совместного выполнения, чтобы преодолеть ограничения вычислений и хранения на одном компьютере. Несмотря на то, что физически он обладает "распределёнными" характеристиками, в целом он по-прежнему контролируется и координируется централизованными учреждениями, часто работает в среде высокоскоростной локальной сети, используя технологию высокоскоростной межсоединительной шины NVLink, с помощью которой главный узел координирует подзадачи. Основные методы включают:
Параллельные данные: каждый узел обучает разные данные, параметры общие, необходимо сопоставить веса модели
Модельная параллельность: развертывание различных частей модели на различных узлах для достижения высокой масштабируемости
Параллельные каналы: последовательное выполнение поэтапно, увеличение пропускной способности
Тензорное параллелизм: детализированное разбиение матричных вычислений, повышение гранулярности параллелизма
Распределенное обучение является комбинацией "централизованного управления + распределенного выполнения", аналогично тому, как один и тот же начальник дистанционно руководит несколькими сотрудниками из "офисов", чтобы совместно выполнять задачи. В настоящее время почти все основные большие модели (GPT-4, Gemini, LLaMA и др. ) обучаются таким образом.
Децентрализация тренировки представляет собой более открытый и устойчивый к цензуре путь в будущее. Его ключевая особенность заключается в том, что: несколько недоверительных узлов ( могут быть домашними компьютерами, облачными GPU или крайними устройствами ), которые совместно выполняют задачи тренировки без центрального координатора, обычно через протокол, который управляет распределением задач и сотрудничеством, и с помощью крипто-стимулов для обеспечения добросовестности вклада. Основные проблемы, с которыми сталкивается эта модель, включают:
Гетерогенность устройств и сложность разделения: высокая сложность координации гетерогенных устройств, низкая эффективность разделения задач
Недостаток доверительного выполнения: отсутствие доверительной вычислительной среды затрудняет проверку того, действительно ли узлы участвуют в вычислениях.
Недостаток единой координации: отсутствие центрального диспетчера, сложное распределение задач и механизмы отката при сбоях
Децентрализация тренировки может быть понята как: группа глобальных добровольцев, которые вносят свой вычислительный потенциал для совместной тренировки модели, но "действительно осуществимая масштабная децентрализация тренировки" все еще является системной инженерной задачей, затрагивающей архитектуру системы, коммуникационные протоколы, криптографическую безопасность, экономические механизмы, валидацию моделей и другие аспекты, но вопрос о том, можно ли "совместно эффективно + стимулировать честность + получать правильные результаты", все еще находится на ранней стадии прототипирования.
Федеративное обучение, как переходная форма между распределенными и Децентрализация, подчеркивает локальное хранение данных и централизованную агрегацию параметров модели, подходит для сцен, ориентированных на соблюдение конфиденциальности, таких как медицина, финансы (. Федеративное обучение обладает инженерной структурой распределенного обучения и возможностями локальной кооперации, одновременно имея преимущества распределенных данных в Децентрализация, но все еще зависит от доверенного координационного лица и не обладает полностью открытыми и антицензурными характеристиками. Это можно рассматривать как "контролируемую Децентрализация" в сценах, связанных с соблюдением конфиденциальности, в которых задачи обучения, структура доверия и механизмы связи являются относительно умеренными, что делает его более подходящим в качестве переходной архитектуры для промышленного развертывания.
![Крипто ИИ святой грааль: Децентрализация тренировки на переднем крае исследований])https://img-cdn.gateio.im/webp-social/moments-a8004f094fff74515470052b3a24617c.webp(
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях из-за сложной структуры задач, высоких требований к ресурсам или большой сложности взаимодействия, ей естественно не удается эффективно выполнять задачи на гетерогенных, недоверительных узлах. Например, обучение больших моделей часто зависит от высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытой сети; задачи с сильными ограничениями по конфиденциальности данных и суверенности, такие как медицинские, финансовые и касающиеся конфиденциальных данных ), ограничены юридическими и этическими нормами, что делает невозможным их открытое совместное использование; в то время как задачи, которым не хватает основ для совместного побуждения, такие как закрытые модели предприятий или внутреннее обучение прототипов (, не имеют внешних стимулов для участия. Эти границы вместе составляют текущие реальные ограничения Децентрализации обучения.
Но это не означает, что Децентрализация обучения является ложным тезисом. На самом деле, в задачах с легкой структурой, легко параллелизируемых и стимулируемых, Децентрализация обучения демонстрирует очевидные перспективы применения. Включая, но не ограничиваясь: LoRA дообучение, задачи постобучения с выравниванием поведения ) такие как RLHF, DPO (, задачи по обучению и аннотированию данных через краудсорсинг, обучение небольших базовых моделей с контролируемыми ресурсами, а также сценарии кооперативного обучения с участием периферийных устройств. Эти задачи обычно обладают высокой параллельностью, низкой связанностью и устойчивостью к гетерогенной вычислительной мощности, что делает их очень подходящими для кооперативного обучения через P2P сети, протоколы Swarm, распределенные оптимизаторы и другие способы.
![Крипто ИИ Святой Грааль: Децентрализация обучения передовые исследования])https://img-cdn.gateio.im/webp-social/moments-adb92bc4dfbaf26863cb0b4bb1081cd7.webp(
Децентрализация тренировки классических проектов анализа
В настоящее время среди передовых проектов в области Децентрализации обучения и федеративного обучения можно выделить такие блокчейн-проекты, как Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технической инновационности и сложности реализации, Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в системной архитектуре и алгоритмическом дизайне, представляя собой передовые направления текущих теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, и уже можно увидеть первичные успехи в инженерной реализации. В данной статье будут последовательно проанализированы основные технологии и инженерные архитектуры, стоящие за этими пятью проектами, а также дополнительно рассмотрены их различия и взаимодополняющие отношения в системе Децентрализованного AI обучения.
) Prime Intellect: Проверяемые траектории обучения в рамках сети совместного обучения.
Prime Intellect стремится создать сеть обучения ИИ, не требующую доверия, позволяя каждому участвовать в обучении и получать надежные награды за свои вычислительные вклады. Prime Intellect хочет построить систему децентрализованного обучения ИИ с проверяемостью, открытостью и полноценным механизмом стимулов с помощью трех основных модулей: PRIME-RL + TOPLOC + SHARDCAST.
(# 01、Структура стеков протокола Prime Intellect и ценность ключевых модулей
![Святой Грааль Crypto AI: передовые исследования в области Децентрализации обучения])https://img-cdn.gateio.im/webp-social/moments-69eb6c2dab3d6284b890285c71e7a47f.webp###
02, Подробное объяснение ключевых механизмов тренировки Prime Intellect
#PRIME-RL: Архитектура задач асинхронного усиленного обучения с декомпозицией
PRIME-RL — это фреймворк моделирования задач и выполнения, разработанный Prime Intellect для Децентрализация обучающих сценариев, специально созданный для гетерогенных сетей и асинхронного участия. Он использует обучение с подкреплением в качестве приоритетного объекта адаптации, структурно декомпозируя процессы обучения, вывода и загрузки весов, что позволяет каждому обучающему узлу независимо завершать цикл задач локально и взаимодействовать с механизмами валидации и агрегации через стандартизированные интерфейсы. По сравнению с традиционным процессом обучения с учителем, PRIME-RL лучше подходит для реализации гибкого обучения в средах без централизованного управления, что снижает сложность системы и закладывает основу для поддержки параллельного выполнения множества задач и эволюции стратегий.
#TOPLOC:Легковесный механизм проверки поведения тренировки
TOPLOC(Доверенное Наблюдение и Проверка Политики-Локальности) является основной механизмом проверяемости, предложенным Prime Intellect, который используется для определения, действительно ли узел завершил эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от повторного вычисления полной модели, а вместо этого завершает валидацию легковесной структуры, анализируя локально согласованные траектории между "последовательностью наблюдений ↔ обновлением стратегии". Впервые он преобразует поведенческие траектории из процесса обучения в проверяемые объекты, что является ключевым новшеством для реализации распределения вознаграждений за обучение без доверия и предоставляет осуществимый путь для создания аудитируемой и стимулирующей сети децентрализованного совместного обучения.
#SHARDCAST: Асинхронная агрегация весов и протокол распространения
SHARDCAST - это протокол распространения и агрегации весов, разработанный Prime Intellect, оптимизированный для реальных сетевых условий с асинхронной связью, ограниченной пропускной способностью и изменяющимся состоянием узлов. Он сочетает в себе механизм распространения gossip и локальные стратегии синхронизации, позволяя нескольким узлам продолжать отправлять частичные обновления в состоянии несинхронности, что обеспечивает постепенное сходимость весов и эволюцию нескольких версий. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно улучшает масштабируемость и отказоустойчивость децентрализованного обучения, являясь основой для построения стабильного консенсуса по весам и непрерывной итерации обучения.
#OpenDiLoCo:Разреженная асинхронная коммуникационная структура
OpenDiLoCo — это независимая реализация и открытая версия фреймворка оптимизации связи, предложенного командой Prime Intellect на основе концепции DiLoCo от DeepMind, специально разработанная для решения таких проблем, как ограниченная пропускная способность, гетерогенные устройства и нестабильные узлы, которые часто встречаются в процессе Децентрализация обучения. Его архитектура основана на параллельной обработке данных, строя разреженные топологические структуры, такие как Ring, Expander и Small-World, что позволяет избежать высоких затрат на связь, связанных с глобальной синхронизацией, и завершать совместное обучение модели, полагаясь только на локальные соседние узлы. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и крайним устройствам стабильно участвовать в обучающих задачах, значительно увеличивая вовлеченность в глобальное совместное обучение и являясь одним из ключевых коммуникационных инфраструктур для создания сети Децентрализация обучения.
#PCCL:Библиотека совместной связи
PCCL###Prime Collective Communication Library( является легковесной библиотекой связи, разработанной Prime Intellect для децентрализованной среды тренировки ИИ, направленной на решение проблем адаптации традиционных библиотек связи в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженную топологию, сжатие градиентов, синхронизацию с низкой точностью и восстановление с контрольной точки, может работать на потребительских GPU и нестабильных узлах, являясь основным компонентом, поддерживающим асинхронные коммуникационные возможности протокола OpenDiLoCo. Он значительно улучшает толерантность к пропускной способности сети для обучения и совместимость устройств, открывая "последнюю милю" связи для создания действительно открытой, не требующей доверия сети совместного обучения.
![Святой Грааль Crypto AI: передовые исследования децентрализованного обучения])https://img-cdn.gateio.im/webp-social/moments-b11af8d10db6e8baa0c19e87aa18dd82.webp(
)# 03、Сеть стимулов Prime Intellect и распределение ролей
Prime Intellect построил сеть обучения, не требующую разрешений, проверяемую и обладающую экономическими стимулами, позволяя любому участвовать в задачах и получать вознаграждение на основе реального вклада. Протокол функционирует на основе трех основных ролей:
Инициатор задачи: определяет тренировочную среду, начальную модель, функцию вознаграждения и стандарты валидации
Участвующие узлы: выполняйте локальное обучение, отправляйте обновления весов и наблюдайте за траекториями
Узлы проверки: Использование механизма TOPLOC для проверки подлинности тренировочного поведения и участия в расчете вознаграждений и агрегации стратегий.
Основные процессы протокола включают в себя публикацию задач, обучение узлов, верификацию траекторий, агрегацию весов (SHARDCAST) и распределение вознаграждений, создавая замкнутый цикл стимулов, основанный на "реальных действиях обучения".
![Святой Грааль Crypto AI: передовые исследования децентрализованного обучения]###https://img-cdn.gateio.im/webp-social/moments-0a322ea8b70c3d00d8d99606559c1864.webp(
)# 04, INTELLECT-2: Выпуск первой проверяемой Децентрализация обучающей модели
Prime Intellect выпустил INTELLECT-2 в мае 2025 года, это первый в мире продукт, основанный на асинхронной, не требующей доверия
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
24 Лайков
Награда
24
5
Репост
Поделиться
комментарий
0/400
degenwhisperer
· 08-02 02:08
Эй, эта штука действительно перспективная, провели собственное исследование (DYOR) несколько дней и чувствую, что она довольно надежна.
Посмотреть ОригиналОтветить0
GasWaster
· 07-30 07:48
брат computing power - это новые Плата за газ, реально... RIP мой кошелек
Посмотреть ОригиналОтветить0
MoneyBurnerSociety
· 07-30 07:31
Профессиональный эксперт по ошибкам, ИИ уже продал три видеокарты
Посмотреть ОригиналОтветить0
GasFeeNightmare
· 07-30 07:24
Не зря это тяжёлая промышленность, тренировочная вычислительная мощность расходует больше, чем газ.
Посмотреть ОригиналОтветить0
MultiSigFailMaster
· 07-30 07:23
Вычислительная мощность так дорого стоит, чтобы начать майнинг.
Исследование передовых технологий децентрализованного AI-обучения: Prime Intellect ведет новый парадигму кооперативных сетей
Исследование передового опыта Децентрализация тренировки: Священный Грааль Crypto AI
В полной цепочке создания ценности ИИ обучение моделей является этапом с наибольшим потреблением ресурсов и высоким технологическим барьером, непосредственно определяющим предельные возможности моделей и их фактическую эффективность в приложениях. В отличие от легковесных вызовов на этапе вывода, процесс обучения требует постоянных вложений в вычислительную мощность в больших масштабах, сложных процессов обработки данных и поддержки высокоинтенсивных алгоритмов оптимизации, что является настоящей "тяжелой промышленностью" в построении систем ИИ. С точки зрения архитектурных парадигм, способы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, которое обсуждается в данной статье.
Централизованное обучение – это наиболее распространённый традиционный способ, при котором единая организация завершает весь процесс обучения в локальном высокопроизводительном кластере, от аппаратного обеспечения, программного обеспечения нижнего уровня, систем управления кластером до всех компонентов обучающей платформы, которые координируются единой управляющей системой. Эта глубоко скоординированная архитектура обеспечивает максимальную эффективность совместного использования памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает её очень подходящей для обучения крупномасштабных моделей, таких как GPT, Gemini, обладая высокой эффективностью и контролем ресурсов, но одновременно сталкиваясь с проблемами монополизации данных, барьеров для ресурсов, потребления энергии и рисков единой точки.
Распределённое обучение является основным способом обучения больших моделей в настоящее время. Его суть заключается в разбиении задач обучения модели и распределении их на несколько машин для совместного выполнения, чтобы преодолеть ограничения вычислений и хранения на одном компьютере. Несмотря на то, что физически он обладает "распределёнными" характеристиками, в целом он по-прежнему контролируется и координируется централизованными учреждениями, часто работает в среде высокоскоростной локальной сети, используя технологию высокоскоростной межсоединительной шины NVLink, с помощью которой главный узел координирует подзадачи. Основные методы включают:
Распределенное обучение является комбинацией "централизованного управления + распределенного выполнения", аналогично тому, как один и тот же начальник дистанционно руководит несколькими сотрудниками из "офисов", чтобы совместно выполнять задачи. В настоящее время почти все основные большие модели (GPT-4, Gemini, LLaMA и др. ) обучаются таким образом.
Децентрализация тренировки представляет собой более открытый и устойчивый к цензуре путь в будущее. Его ключевая особенность заключается в том, что: несколько недоверительных узлов ( могут быть домашними компьютерами, облачными GPU или крайними устройствами ), которые совместно выполняют задачи тренировки без центрального координатора, обычно через протокол, который управляет распределением задач и сотрудничеством, и с помощью крипто-стимулов для обеспечения добросовестности вклада. Основные проблемы, с которыми сталкивается эта модель, включают:
Децентрализация тренировки может быть понята как: группа глобальных добровольцев, которые вносят свой вычислительный потенциал для совместной тренировки модели, но "действительно осуществимая масштабная децентрализация тренировки" все еще является системной инженерной задачей, затрагивающей архитектуру системы, коммуникационные протоколы, криптографическую безопасность, экономические механизмы, валидацию моделей и другие аспекты, но вопрос о том, можно ли "совместно эффективно + стимулировать честность + получать правильные результаты", все еще находится на ранней стадии прототипирования.
Федеративное обучение, как переходная форма между распределенными и Децентрализация, подчеркивает локальное хранение данных и централизованную агрегацию параметров модели, подходит для сцен, ориентированных на соблюдение конфиденциальности, таких как медицина, финансы (. Федеративное обучение обладает инженерной структурой распределенного обучения и возможностями локальной кооперации, одновременно имея преимущества распределенных данных в Децентрализация, но все еще зависит от доверенного координационного лица и не обладает полностью открытыми и антицензурными характеристиками. Это можно рассматривать как "контролируемую Децентрализация" в сценах, связанных с соблюдением конфиденциальности, в которых задачи обучения, структура доверия и механизмы связи являются относительно умеренными, что делает его более подходящим в качестве переходной архитектуры для промышленного развертывания.
![Крипто ИИ святой грааль: Децентрализация тренировки на переднем крае исследований])https://img-cdn.gateio.im/webp-social/moments-a8004f094fff74515470052b3a24617c.webp(
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях из-за сложной структуры задач, высоких требований к ресурсам или большой сложности взаимодействия, ей естественно не удается эффективно выполнять задачи на гетерогенных, недоверительных узлах. Например, обучение больших моделей часто зависит от высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытой сети; задачи с сильными ограничениями по конфиденциальности данных и суверенности, такие как медицинские, финансовые и касающиеся конфиденциальных данных ), ограничены юридическими и этическими нормами, что делает невозможным их открытое совместное использование; в то время как задачи, которым не хватает основ для совместного побуждения, такие как закрытые модели предприятий или внутреннее обучение прототипов (, не имеют внешних стимулов для участия. Эти границы вместе составляют текущие реальные ограничения Децентрализации обучения.
Но это не означает, что Децентрализация обучения является ложным тезисом. На самом деле, в задачах с легкой структурой, легко параллелизируемых и стимулируемых, Децентрализация обучения демонстрирует очевидные перспективы применения. Включая, но не ограничиваясь: LoRA дообучение, задачи постобучения с выравниванием поведения ) такие как RLHF, DPO (, задачи по обучению и аннотированию данных через краудсорсинг, обучение небольших базовых моделей с контролируемыми ресурсами, а также сценарии кооперативного обучения с участием периферийных устройств. Эти задачи обычно обладают высокой параллельностью, низкой связанностью и устойчивостью к гетерогенной вычислительной мощности, что делает их очень подходящими для кооперативного обучения через P2P сети, протоколы Swarm, распределенные оптимизаторы и другие способы.
![Крипто ИИ Святой Грааль: Децентрализация обучения передовые исследования])https://img-cdn.gateio.im/webp-social/moments-adb92bc4dfbaf26863cb0b4bb1081cd7.webp(
Децентрализация тренировки классических проектов анализа
В настоящее время среди передовых проектов в области Децентрализации обучения и федеративного обучения можно выделить такие блокчейн-проекты, как Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технической инновационности и сложности реализации, Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в системной архитектуре и алгоритмическом дизайне, представляя собой передовые направления текущих теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, и уже можно увидеть первичные успехи в инженерной реализации. В данной статье будут последовательно проанализированы основные технологии и инженерные архитектуры, стоящие за этими пятью проектами, а также дополнительно рассмотрены их различия и взаимодополняющие отношения в системе Децентрализованного AI обучения.
) Prime Intellect: Проверяемые траектории обучения в рамках сети совместного обучения.
Prime Intellect стремится создать сеть обучения ИИ, не требующую доверия, позволяя каждому участвовать в обучении и получать надежные награды за свои вычислительные вклады. Prime Intellect хочет построить систему децентрализованного обучения ИИ с проверяемостью, открытостью и полноценным механизмом стимулов с помощью трех основных модулей: PRIME-RL + TOPLOC + SHARDCAST.
(# 01、Структура стеков протокола Prime Intellect и ценность ключевых модулей
![Святой Грааль Crypto AI: передовые исследования в области Децентрализации обучения])https://img-cdn.gateio.im/webp-social/moments-69eb6c2dab3d6284b890285c71e7a47f.webp###
02, Подробное объяснение ключевых механизмов тренировки Prime Intellect
#PRIME-RL: Архитектура задач асинхронного усиленного обучения с декомпозицией
PRIME-RL — это фреймворк моделирования задач и выполнения, разработанный Prime Intellect для Децентрализация обучающих сценариев, специально созданный для гетерогенных сетей и асинхронного участия. Он использует обучение с подкреплением в качестве приоритетного объекта адаптации, структурно декомпозируя процессы обучения, вывода и загрузки весов, что позволяет каждому обучающему узлу независимо завершать цикл задач локально и взаимодействовать с механизмами валидации и агрегации через стандартизированные интерфейсы. По сравнению с традиционным процессом обучения с учителем, PRIME-RL лучше подходит для реализации гибкого обучения в средах без централизованного управления, что снижает сложность системы и закладывает основу для поддержки параллельного выполнения множества задач и эволюции стратегий.
#TOPLOC:Легковесный механизм проверки поведения тренировки
TOPLOC(Доверенное Наблюдение и Проверка Политики-Локальности) является основной механизмом проверяемости, предложенным Prime Intellect, который используется для определения, действительно ли узел завершил эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от повторного вычисления полной модели, а вместо этого завершает валидацию легковесной структуры, анализируя локально согласованные траектории между "последовательностью наблюдений ↔ обновлением стратегии". Впервые он преобразует поведенческие траектории из процесса обучения в проверяемые объекты, что является ключевым новшеством для реализации распределения вознаграждений за обучение без доверия и предоставляет осуществимый путь для создания аудитируемой и стимулирующей сети децентрализованного совместного обучения.
#SHARDCAST: Асинхронная агрегация весов и протокол распространения
SHARDCAST - это протокол распространения и агрегации весов, разработанный Prime Intellect, оптимизированный для реальных сетевых условий с асинхронной связью, ограниченной пропускной способностью и изменяющимся состоянием узлов. Он сочетает в себе механизм распространения gossip и локальные стратегии синхронизации, позволяя нескольким узлам продолжать отправлять частичные обновления в состоянии несинхронности, что обеспечивает постепенное сходимость весов и эволюцию нескольких версий. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно улучшает масштабируемость и отказоустойчивость децентрализованного обучения, являясь основой для построения стабильного консенсуса по весам и непрерывной итерации обучения.
#OpenDiLoCo:Разреженная асинхронная коммуникационная структура
OpenDiLoCo — это независимая реализация и открытая версия фреймворка оптимизации связи, предложенного командой Prime Intellect на основе концепции DiLoCo от DeepMind, специально разработанная для решения таких проблем, как ограниченная пропускная способность, гетерогенные устройства и нестабильные узлы, которые часто встречаются в процессе Децентрализация обучения. Его архитектура основана на параллельной обработке данных, строя разреженные топологические структуры, такие как Ring, Expander и Small-World, что позволяет избежать высоких затрат на связь, связанных с глобальной синхронизацией, и завершать совместное обучение модели, полагаясь только на локальные соседние узлы. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и крайним устройствам стабильно участвовать в обучающих задачах, значительно увеличивая вовлеченность в глобальное совместное обучение и являясь одним из ключевых коммуникационных инфраструктур для создания сети Децентрализация обучения.
#PCCL:Библиотека совместной связи
PCCL###Prime Collective Communication Library( является легковесной библиотекой связи, разработанной Prime Intellect для децентрализованной среды тренировки ИИ, направленной на решение проблем адаптации традиционных библиотек связи в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженную топологию, сжатие градиентов, синхронизацию с низкой точностью и восстановление с контрольной точки, может работать на потребительских GPU и нестабильных узлах, являясь основным компонентом, поддерживающим асинхронные коммуникационные возможности протокола OpenDiLoCo. Он значительно улучшает толерантность к пропускной способности сети для обучения и совместимость устройств, открывая "последнюю милю" связи для создания действительно открытой, не требующей доверия сети совместного обучения.
![Святой Грааль Crypto AI: передовые исследования децентрализованного обучения])https://img-cdn.gateio.im/webp-social/moments-b11af8d10db6e8baa0c19e87aa18dd82.webp(
)# 03、Сеть стимулов Prime Intellect и распределение ролей
Prime Intellect построил сеть обучения, не требующую разрешений, проверяемую и обладающую экономическими стимулами, позволяя любому участвовать в задачах и получать вознаграждение на основе реального вклада. Протокол функционирует на основе трех основных ролей:
Основные процессы протокола включают в себя публикацию задач, обучение узлов, верификацию траекторий, агрегацию весов (SHARDCAST) и распределение вознаграждений, создавая замкнутый цикл стимулов, основанный на "реальных действиях обучения".
![Святой Грааль Crypto AI: передовые исследования децентрализованного обучения]###https://img-cdn.gateio.im/webp-social/moments-0a322ea8b70c3d00d8d99606559c1864.webp(
)# 04, INTELLECT-2: Выпуск первой проверяемой Децентрализация обучающей модели
Prime Intellect выпустил INTELLECT-2 в мае 2025 года, это первый в мире продукт, основанный на асинхронной, не требующей доверия