OPML: Teknologi pembelajaran mesin berbasis pendekatan optimis

OPML(Optimistic pembelajaran mesin) adalah teknologi yang sedang berkembang, yang menggunakan pendekatan optimis untuk melakukan inferensi dan pelatihan/penyesuaian model AI di sistem blockchain. Dibandingkan dengan ZKML, OPML dapat menyediakan layanan ML dengan biaya lebih rendah dan efisiensi yang lebih tinggi. Salah satu keunggulan OPML adalah persyaratan partisipasi yang rendah - saat ini, PC biasa tanpa GPU dapat menjalankan OPML yang mencakup model bahasa besar ( seperti 7B-LLaMA) dengan ukuran 26GB.

OPML menggunakan mekanisme permainan verifikasi untuk memastikan desentralisasi layanan ML dan konsensus yang dapat diverifikasi. Alur kerjanya adalah sebagai berikut:

1. Pemohon memulai tugas layanan ML
2. Server menyelesaikan tugas dan mengirimkan hasil ke rantai
3. Validator memverifikasi hasil
4. Jika ada sengketa, gunakan perjanjian bifurkasi untuk menentukan langkah yang salah dengan tepat.
5. Melakukan arbitrase pada langkah tunggal di kontrak pintar

Permainan Verifikasi Satu Tahap

Inti dari permainan verifikasi satu tahap adalah protokol penentuan lokasi yang akurat, yang cara kerjanya mirip dengan perhitungan delegasi (RDoC). Fitur utamanya meliputi:

• Membangun VM( ) untuk eksekusi off-chain dan arbitrase on-chain
• Mewujudkan pustaka DNN ringan untuk meningkatkan efisiensi inferensi model AI
• Menggunakan teknologi cross-compilation untuk mengompilasi kode inferensi model AI menjadi instruksi VM
• Menggunakan pohon Merkle untuk mengelola gambar VM, hanya mengunggah akar Merkle ke blockchain.

Dalam pengujian kinerja, sebuah model AI dasar ( model DNN klasifikasi MNIST ) dapat menyelesaikan inferensi dalam 2 detik di VM di PC, dan seluruh proses tantangan dapat diselesaikan dalam 2 menit di lingkungan pengujian Ethereum lokal.

Permainan Verifikasi Multi-Tahap

Untuk mengatasi keterbatasan permainan verifikasi satu tahap, kami mengusulkan permainan verifikasi multi tahap:

• Hanya melakukan perhitungan di VM pada tahap terakhir
• Tahap lain dapat dilakukan secara fleksibel di lingkungan lokal, memanfaatkan sumber daya perangkat keras seperti CPU, GPU, dan TPU.
• Meningkatkan kinerja eksekusi OPML secara signifikan, mendekati tingkat lingkungan lokal

Sebagai contoh permainan verifikasi dua tahap (k=2):

1. Tahap kedua: Mirip dengan permainan verifikasi satu tahap, mengidentifikasi langkah-langkah yang diperselisihkan pada "perintah besar"
2. Tahap pertama: Menentukan langkah-langkah kontroversial pada instruksi mikro VM

Memastikan integritas dan keamanan transisi antar tahap melalui pohon Merkle.

Contoh OPML Multi-Tahap: Model LLaMA

Model LLaMA menggunakan metode OPML dua tahap:

1. Menyatakan proses perhitungan jaringan saraf dalam-dalam (DNN) sebagai grafik perhitungan G
2. Melakukan permainan verifikasi fase kedua pada grafik perhitungan, menggunakan CPU atau GPU multithread.
3. Tahap pertama akan mengubah perhitungan node tunggal menjadi instruksi VM

Untuk perhitungan yang lebih kompleks, dapat diperkenalkan metode OPML multistage dengan lebih dari dua tahap.

Analisis Peningkatan Kinerja

Misalkan grafik komputasi memiliki n node, setiap node memerlukan m instruksi mikro VM, rasio percepatan GPU atau komputasi paralel adalah α:

1. OPML dua tahap lebih cepat α kali dibandingkan OPML satu tahap
2. Ukuran pohon Merkle OPML dua tahap adalah O(m+n), jauh lebih kecil dibandingkan dengan OPML satu tahap O(mn)

Jaminan Konsistensi dan Determinasi

Untuk memastikan konsistensi hasil ML, OPML menggunakan:

1. Algoritma Tetap ( Teknologi Kuantisasi ): Menggunakan presisi tetap sebagai pengganti bilangan desimal.
2. Perpustakaan floating point berbasis perangkat lunak: memastikan konsistensi lintas platform

Metode ini secara efektif mengatasi tantangan yang ditimbulkan oleh variabel floating point dan perbedaan platform, serta meningkatkan keandalan perhitungan OPML.