OPML: Технологии машинного обучения на основе оптимистического подхода

OPML(Оптимистическое машинное обучение) - это новая технология, которая использует оптимистический подход для выполнения вывода и обучения/доработки AI моделей в блокчейн системах. В отличие от ZKML, OPML может предоставить более низкие затраты и более высокую эффективность ML услуг. Одним из больших преимуществ OPML является его низкие требования к участию - в настоящее время обычный ПК может работать с OPML, содержащим большие языковые модели (, такие как 26GB размером 7B-LLaMA), без необходимости в GPU.

OPML использует механизм проверки игр для обеспечения децентрализации и проверяемого консенсуса ML-сервисов. Его рабочий процесс следующий:

1. Запросчик инициирует задачу ML-сервиса
2. Сервер завершает задачу и отправляет результат в цепочку
3. Валидатор проверяет результат
4. В случае спора уточнить ошибочный шаг с помощью двоичного соглашения
5. Арбитраж для одного шага на смарт-контракте

! OPML: Машинное обучение с оптимистичным свертыванием

Одноэтапная верификация игры

Ядро однофазной верификации игры заключается в точной локализации протокола, принцип работы которого аналогичен вычислительному поручению (RDoC). Основные характеристики включают:

• Создание виртуальной машины (VM) для оффлайн выполнения и онлайн арбитража
• Реализация легковесной библиотеки DNN для повышения эффективности вывода AI моделей
• Использование технологий кросс-компиляции для компиляции кода вывода AI-моделей в инструкции VM
• Использование дерева Меркла для управления образами VM, загружая только корень Меркла на цепь

В ходе тестирования производительности базовая модель ИИ ( MNIST классификатор DNN модель ) может завершить вывод за 2 секунды на виртуальной машине на ПК, а весь процесс испытаний можно завершить в локальной тестовой среде Ethereum за 2 минуты.

! OPML: Машинное обучение с оптимистичной системой свертывания

Многопрофильная верификация игры

Чтобы преодолеть ограничения игры с однофазной проверкой, мы предложили многопрофильную игру с проверкой:

• Выполнять вычисления только на последнем этапе в VM
• Другие этапы могут быть гибко выполнены в локальной среде, максимально используя аппаратные ресурсы, такие как CPU, GPU, TPU.
• Значительное улучшение производительности выполнения OPML, близкое к уровню локальной среды

В качестве примера игры с двухступенчатой проверкой (k=2):

1. Второй этап: аналог игры с одностадийной проверкой, определение спорных шагов на "большой инструкции"
2. Первый этап: определение спорных шагов на микроинструкциях VM

Обеспечение целостности и безопасности переходов между этапами с помощью дерева Меркла.

! OPML: Машинное обучение с оптимистичным свертыванием

Многоступенчатый пример OPML: Модель LLaMA

Модель LLaMA использует двухэтапный метод OPML:

1. Представьте процесс вычисления глубокой нейронной сети (DNN) в виде вычислительного графа G
2. Проведение второй стадии верификационной игры на вычислительном графе с использованием многоядерного CPU или GPU
3. Первый этап преобразует вычисления одного узла в инструкции VM

Для более сложных вычислений можно ввести многос阶段ный метод OPML с двумя и более этапами.

! OPML: Машинное обучение с оптимистичным свертыванием

Анализ улучшения производительности

Предположим, что вычислительный граф имеет n узлов, каждый узел требует m микроинструкций VM, ускорение от GPU или параллельных вычислений составляет α:

1. Двухэтапный OPML быстрее одноступенчатого OPML в α раз
2. Размер меркл-дерева двухступенчатого OPML составляет O(m+n), значительно меньше, чем O(mn) для одноступенчатого OPML.

Гарантия согласованности и детерминированности

Чтобы обеспечить согласованность результатов ML, OPML использует:

1. Фиксированный алгоритм ( квантовая техника ): использование фиксированной точности вместо плавающей точки
2. Программная библиотека с плавающей точкой: гарантирует согласованность между платформами

Эти методы эффективно решили проблемы, возникающие из-за различий в плавающих переменных и платформах, и повысили надежность вычислений OPML.

! OPML: Машинное обучение с оптимистичной системой свертывания