OPML: Techniques d'apprentissage automatique basées sur l'optimisme

OPML(L'apprentissage automatique optimiste) est une technologie émergente qui utilise une approche optimiste pour l'inférence et l'entraînement/ajustement des modèles d'IA sur les systèmes blockchain. Comparé à ZKML, OPML peut offrir des services ML à moindre coût et avec une efficacité supérieure. Un des grands avantages d'OPML est ses exigences de participation à faible seuil - actuellement, un PC ordinaire peut exécuter OPML avec des modèles de langage de grande taille( comme le 7B-LLaMA) de 26 Go sans avoir besoin de GPU.

OPML utilise un mécanisme de jeu de validation pour assurer la décentralisation et le consensus vérifiable des services ML. Son flux de travail est le suivant :

1. Le demandeur lance une tâche de service ML
2. Le serveur termine la tâche et soumet le résultat sur la chaîne.
3. Les validateurs vérifient les résultats
4. En cas de litige, localisez avec précision l'étape erronée par le biais d'un protocole binaire.
5. Arbitrage d'une étape unique sur un contrat intelligent

Jeu de validation à une étape

Le cœur du jeu de validation à une étape est le protocole de localisation précise, dont le fonctionnement est similaire au calcul de la délégation (RDoC). Les principales caractéristiques incluent :

• Construire la machine virtuelle (VM) pour l'exécution hors chaîne et l'arbitrage sur chaîne.
• Réaliser une bibliothèque DNN légère pour améliorer l'efficacité de l'inférence des modèles d'IA
• Utiliser la technique de compilation croisée pour compiler le code d'inférence du modèle AI en instructions VM
• Utiliser un arbre de Merkle pour gérer les images VM, en téléchargeant uniquement la racine de Merkle sur la chaîne.

Lors des tests de performance, un modèle d'IA de base ( modèle DNN de classification MNIST ) peut effectuer l'inférence en 2 secondes sur une VM sur PC, l'ensemble du processus de défi peut être complété en 2 minutes dans un environnement de test Ethereum local.

Jeu de validation multi-phases

Pour surmonter les limites des jeux de validation à une seule étape, nous avons proposé des jeux de validation à plusieurs étapes :

• Ne calculer que dans la VM à la dernière étape
• Les autres étapes peuvent être exécutées de manière flexible dans l'environnement local, en tirant pleinement parti des ressources matérielles telles que le CPU, le GPU et le TPU.
• Amélioration significative des performances d'exécution de l'OPML, proche du niveau de l'environnement local

Prenons l'exemple d'un jeu validé en deux étapes (k=2) :

1. Deuxième étape : similaire au jeu de validation en une seule étape, cibler les étapes contestées sur la "grande instruction".
2. Première étape : localiser les étapes de contestation sur les micro-instructions VM

Assurer l'intégrité et la sécurité des conversions entre les phases grâce à l'arbre de Merkle.

Exemple OPML multi-étapes : modèle LLaMA

Le modèle LLaMA utilise une méthode OPML en deux étapes :

1. Représenter le processus de calcul du réseau de neurones profonds (DNN) sous forme de graphe de calcul G
2. Effectuer un jeu de validation de deuxième phase sur le graphe de calcul, en utilisant le CPU ou le GPU multi-thread.
3. La première étape convertit le calcul d'un nœud unique en instructions VM.

Pour des calculs plus complexes, il est possible d'introduire des méthodes OPML multi-étapes à plus de deux étapes.

Analyse des améliorations de performance

Supposons qu'un graphe de calcul ait n nœuds, chaque nœud nécessitant m micro-instructions VM, le rapport d'accélération du GPU ou du calcul parallèle étant α :

1. Le OPML à deux étapes est α fois plus rapide que le OPML à une étape.
2. La taille de l'arbre de Merkle de l'OPML à deux étapes est de O(m+n), nettement inférieure à celle de l'OPML à une étape qui est de O(mn).

Garantie de cohérence et de déterminisme

Pour garantir la cohérence des résultats ML, OPML adopte :

1. Algorithme à point fixe ( technologie de quantification ) : utiliser une précision fixe au lieu de nombres à virgule flottante
2. Bibliothèque de flottants basée sur le logiciel : assurer la cohérence multiplateforme

Ces méthodes ont efficacement résolu les défis posés par les variables à virgule flottante et les différences de plateforme, renforçant ainsi la fiabilité du calcul OPML.