Evolusi Akses Data Web3: Gambaran Umum Indeksator dan Proyek Terkait

Dalam teknologi blockchain, data memainkan peran yang sangat penting, menjadi dasar untuk mengembangkan aplikasi terdesentralisasi. Meskipun saat ini diskusi terutama terfokus pada ketersediaan data, aksesibilitas data juga sama pentingnya namun sering diabaikan.

Di era blockchain modular, solusi ketersediaan data menjadi sangat penting. Mereka memastikan semua peserta dapat mengakses data transaksi, sehingga memungkinkan verifikasi waktu nyata dan menjaga integritas jaringan. Namun, lapisan ketersediaan data lebih mirip papan iklan daripada basis data, data tidak disimpan tanpa batas waktu, tetapi dihapus seiring berjalannya waktu.

Sebagai perbandingan, aksesibilitas data berfokus pada kemampuan untuk mengambil data historis, yang sangat penting untuk mengembangkan aplikasi terdesentralisasi dan melakukan analisis blockchain. Meskipun pembahasannya lebih sedikit, aksesibilitas data sama pentingnya dengan ketersediaan data. Keduanya memainkan peran yang berbeda namun saling melengkapi dalam ekosistem blockchain, sehingga pendekatan manajemen data yang komprehensif harus menangani kedua masalah ini secara bersamaan untuk mendukung aplikasi blockchain yang kuat dan efisien.

Sejak lahir, blockchain telah mengubah infrastruktur secara menyeluruh, mendorong penciptaan aplikasi terdesentralisasi di berbagai bidang seperti permainan, keuangan, dan jaringan sosial. Namun, membangun aplikasi ini memerlukan akses ke sejumlah besar data blockchain, yang sulit dan mahal.

Bagi pengembang, salah satu pilihan adalah menghosting dan menjalankan node RPC arsip mereka sendiri. Node ini menyimpan semua data blockchain historis sejak awal, memungkinkan akses penuh ke data. Namun, memelihara node arsip sangat mahal dan kemampuan kueri terbatas. Menjalankan node yang lebih murah adalah pilihan lain, tetapi kemampuan pengambilan data node ini terbatas, yang dapat mengganggu fungsi normal aplikasi.

Metode lain adalah menggunakan penyedia node RPC komersial. Penyedia ini bertanggung jawab atas biaya dan pengelolaan node, dan menyediakan data melalui endpoint RPC. Endpoint RPC publik gratis, tetapi memiliki batasan kecepatan yang dapat berdampak negatif pada pengalaman pengguna aplikasi. Endpoint RPC pribadi menawarkan kinerja yang lebih baik dengan mengurangi kemacetan, tetapi bahkan pengambilan data yang sederhana memerlukan banyak komunikasi bolak-balik, yang tidak efisien. Selain itu, endpoint RPC pribadi biasanya sulit untuk diskalakan dan kurang kompatibel di berbagai jaringan.

Indeks blockchain memainkan peran kunci dalam mengorganisir data di rantai dan mengirimkannya ke database untuk memudahkan pencarian, sehingga disebut sebagai "mesin pencari blockchain". Cara kerjanya adalah dengan mengindeks data blockchain dan membuatnya tersedia kapan saja melalui bahasa kueri yang mirip dengan SQL. Dengan menyediakan antarmuka kueri yang seragam, indeks memungkinkan pengembang untuk dengan cepat dan akurat mengambil informasi yang dibutuhkan menggunakan bahasa kueri yang distandarisasi, yang secara signifikan menyederhanakan proses.

Berbagai jenis pengindeks menggunakan berbagai cara untuk mengoptimalkan pengambilan data:

1. Pengindeks Node Lengkap: Mengambil data langsung dari node blockchain lengkap, memastikan data lengkap dan akurat, tetapi memerlukan banyak penyimpanan dan kemampuan pemrosesan.

2. Pengindeks Ringan: Mengandalkan node lengkap untuk mendapatkan data tertentu sesuai kebutuhan, mengurangi persyaratan penyimpanan tetapi mungkin meningkatkan waktu kueri.

3. Indeks Khusus: Mengoptimalkan pencarian untuk jenis data tertentu atau blockchain tertentu, seperti data NFT atau transaksi DeFi.

4. Pengindeks Agregat: Mengambil data dari berbagai blockchain dan sumber, termasuk informasi off-chain, menyediakan antarmuka pencarian yang terintegrasi, sangat berguna untuk aplikasi multi-chain.

Hanya Ethereum yang memerlukan ruang penyimpanan 3TB, dan seiring pertumbuhan blockchain, jumlah penyimpanan data untuk node arsip juga akan terus meningkat. Protokol pengindeksan yang menerapkan beberapa pengindeks dapat mengindeks dan melakukan query data dalam jumlah besar dengan efisien, sesuatu yang tidak dapat dicapai oleh RPC.

Indexer juga memungkinkan untuk melakukan kueri yang kompleks, dengan mudah memfilter data berdasarkan kriteria yang berbeda, serta menarik dan menganalisis data setelahnya. Beberapa indexer juga memungkinkan agregasi data dari berbagai sumber, menghindari penerapan beberapa API dalam aplikasi multi-chain. Dengan tersebar di beberapa node, indexer menyediakan keamanan dan kinerja yang lebih baik, sementara penyedia RPC mungkin mengalami gangguan dan downtime karena karakteristik terpusatnya.

Secara keseluruhan, dibandingkan dengan penyedia node RPC, pengindeks meningkatkan efisiensi dan keandalan pengambilan data, sambil juga mengurangi biaya untuk menerapkan satu node. Ini menjadikan protokol pengindeks blockchain pilihan utama bagi pengembang aplikasi.

Membangun aplikasi terdesentralisasi memerlukan pengambilan dan pembacaan data blockchain agar dapat menjalankan layanannya. Ini mencakup segala jenis aplikasi, termasuk DeFi, platform NFT, permainan, bahkan jejaring sosial, karena platform ini perlu membaca data terlebih dahulu sebelum melakukan transaksi lainnya.

Protokol DeFi memerlukan informasi yang berbeda untuk memberikan harga, rasio, biaya, dan lainnya yang spesifik kepada pengguna. Pembuat pasar otomatis memerlukan informasi harga dan likuiditas dari kumpulan dana untuk menghitung suku bunga swap, sedangkan protokol peminjaman memerlukan tingkat pemanfaatan untuk menentukan suku bunga pinjaman dan rasio utang yang dilikuidasi. Memasukkan informasi ke dalam aplikasi mereka adalah hal yang penting sebelum menghitung suku bunga yang dieksekusi oleh pengguna.

GameFi memerlukan pengindeksan dan akses data yang cepat untuk memastikan pengguna dapat bermain game dengan lancar. Hanya melalui pengambilan dan eksekusi data yang kilat, permainan Web3 dapat bersaing dalam hal kinerja dengan permainan Web2, sehingga menarik lebih banyak pengguna. Game-game ini memerlukan data seperti kepemilikan tanah, saldo token dalam game, dan operasi dalam game. Dengan menggunakan pengindeks, mereka dapat lebih baik memastikan aliran data yang stabil dan waktu operasi yang stabil untuk menjamin pengalaman bermain game yang sempurna.

Pasar NFT dan platform pinjaman perlu mengindeks data untuk mengakses berbagai informasi, seperti metadata NFT, data kepemilikan dan transfer, informasi royalti, dan lainnya. Mengindeks data semacam ini dengan cepat dapat menghindari penelusuran setiap NFT satu per satu untuk menemukan data kepemilikan atau atribut NFT.

Baik itu DeFi automated market maker yang membutuhkan informasi harga dan likuiditas, atau aplikasi sosial yang memerlukan pembaruan pos pengguna baru, kemampuan untuk dengan cepat mengambil data sangat penting untuk operasi normal aplikasi. Dengan bantuan pengindeks, mereka dapat mengambil data secara efisien dan akurat, sehingga memberikan pengalaman pengguna yang lancar.

Indexer menyediakan cara untuk mengekstrak data tertentu dari data blockchain mentah. Ini memberikan peluang untuk analisis data yang lebih spesifik, sehingga memberikan wawasan yang komprehensif.

Misalnya, protokol perdagangan berkelanjutan dapat mengidentifikasi token mana yang memiliki volume perdagangan tinggi, token mana yang akan menghasilkan biaya, sehingga memutuskan apakah akan mencantumkan token tersebut sebagai kontrak berkelanjutan di platform mereka. Pengembang bursa terdesentralisasi dapat membuat dasbor untuk produk mereka sendiri, mendapatkan wawasan tentang kolam dana mana yang memberikan imbal hasil tertinggi atau likuiditas terkuat. Mereka juga dapat membuat dasbor publik, memungkinkan pengembang untuk dengan bebas dan fleksibel menanyakan jenis data apa pun yang ingin ditampilkan di grafik.

Karena ada beberapa pengindeks blockchain yang tersedia, mengidentifikasi perbedaan antara protokol pengindeks sangat penting untuk memastikan pengembang memilih pengindeks yang paling sesuai dengan kebutuhan mereka.

The Graph adalah protokol pengindeks pertama yang diluncurkan di Ethereum, yang memungkinkan pencarian data transaksi yang sebelumnya sulit diakses. Ini menggunakan subgraf untuk mendefinisikan dan memfilter subset data yang dikumpulkan dari blockchain. Dengan bukti pengindeksan, pengindeks mempertaruhkan token asli untuk layanan pengindeksan dan pencarian, dan delegator dapat memilih untuk mempertaruhkan token mereka di sini. Kurator dapat mengakses subgraf berkualitas tinggi untuk membantu pengindeks menentukan subgraf mana yang harus dikompilasi datanya untuk mendapatkan biaya pencarian terbaik.

Infrastruktur ini membuat biaya rata-rata untuk setiap satu juta kueri mencapai 40 dolar, yang jauh lebih rendah dibandingkan dengan biaya node yang dihosting sendiri. Dengan menggunakan sumber data file, ia juga mendukung pengindeksan paralel untuk data di on-chain dan off-chain secara bersamaan, untuk mencapai pengambilan data yang efisien.

Hadiah penyusun The Graph telah meningkat secara stabil dalam beberapa kuartal terakhir. Ini sebagian disebabkan oleh peningkatan jumlah kueri, tetapi juga disebabkan oleh kenaikan harga token, karena mereka berencana untuk mengintegrasikan kueri yang dibantu oleh kecerdasan buatan di masa depan.

Subsquid adalah danau data terdesentralisasi yang dapat diskalakan secara horizontal dan peer-to-peer, yang dapat mengagregasi sejumlah besar data on-chain dan off-chain secara efisien, dan dilindungi melalui bukti nol-pengetahuan. Sebagai jaringan pekerja terdesentralisasi, setiap node bertanggung jawab untuk menyimpan data dari subset blok tertentu, mempercepat proses pengambilan data dengan cepat mengidentifikasi node yang menyimpan data yang diperlukan.

Subsquid juga mendukung pengindeksan waktu nyata, yang memungkinkan pengindeksan sebelum blok dikonfirmasi secara final. Ini juga mendukung penyimpanan data dalam format yang dipilih oleh pengembang, yang memudahkan analisis dengan berbagai alat. Selain itu, subgraf dapat dideploy di jaringan Subsquid tanpa perlu bermigrasi ke Squid SDK, sehingga memungkinkan deployment tanpa kode.

Meskipun masih dalam tahap uji coba, Subsquid telah mencapai statistik yang mengesankan, dengan lebih dari 80.000 pengguna uji coba, telah menerapkan lebih dari 60.000 pengindeks Squid, dan ada lebih dari 20.000 pengembang yang terverifikasi di jaringan. Pada 3 Juni, Subsquid meluncurkan jaringan utama danau datanya.

Selain indeks, danau data Subsquid Network juga dapat menggantikan RPC dalam kasus penggunaan analisis, ZK/TEE co-processor, AI agent, dan Oracle.

SubQuery adalah jaringan infrastruktur middleware terdesentralisasi yang menyediakan layanan RPC dan pengindeksan data. Awalnya mendukung jaringan Polkadot dan Substrate, kini telah diperluas untuk mencakup lebih dari 200 rantai. Cara kerjanya mirip dengan The Graph yang menggunakan bukti pengindeksan, di mana pengindeks mengindeks data dan menyediakan permintaan kueri, sementara delegator mempertaruhkan sahamnya kepada pengindeks. Namun, ia memperkenalkan konsumen untuk mengajukan pesanan pembelian, untuk menunjukkan bahwa pendapatan pengindeks terjamin, bukan manajer.

Ini akan memperkenalkan node data SubQuery yang mendukung sharding, untuk mencegah setiap node terus-menerus menyinkronkan data baru, sehingga mengoptimalkan efisiensi kueri, sambil bergerak menuju desentralisasi yang lebih besar. Pengguna dapat memilih untuk membayar biaya komputasi sekitar 1 token SQT untuk setiap 1000 permintaan, atau mengatur biaya kustom untuk pengindeks melalui protokol.

Meskipun SubQuery baru saja meluncurkan tokennya lebih awal tahun ini, hadiah penerbitan untuk node dan delegator juga meningkat secara bulanan dalam nilai dolar, yang menunjukkan peningkatan jumlah layanan kueri yang ditawarkan di platformnya. Sejak peristiwa pembuatan token, total SQT yang dipertaruhkan telah meningkat dari 6 juta menjadi 125 juta, menyoroti pertumbuhan partisipasi jaringan.

Covalent adalah jaringan pengindeks terdesentralisasi yang dibentuk oleh jaringan node produsen sampel blok yang membuat salinan data blockchain melalui ekspor massal, dan menerbitkan bukti di blockchain L1 Covalent. Data ini kemudian disempurnakan oleh node produsen hasil blok berdasarkan aturan yang ditetapkan untuk menyaring data yang memenuhi syarat.

Dengan API yang seragam, pengembang dapat dengan mudah mengekstrak data blockchain yang relevan dengan format permintaan dan respons yang konsisten, tanpa perlu menulis kueri kompleks yang disesuaikan untuk mengakses data. Token CQT yang diselesaikan di suatu blockchain dapat digunakan sebagai alat pembayaran untuk mengekstrak kumpulan data yang telah dikonfigurasi sebelumnya dari penyedia jaringan.

Hadiah Covalent dari kuartal pertama tahun 23 hingga kuartal pertama tahun 24 tampaknya menunjukkan tren peningkatan secara keseluruhan, sebagian disebabkan oleh kenaikan harga token Covalent CQT.

Pertimbangkan faktor-faktor berikut saat memilih pengindeks:

Kustomisasi data: Beberapa pengindeks adalah pengindeks umum yang hanya menyediakan dataset pra-konfigurasi standar melalui API. Meskipun mereka mungkin cepat, mereka tidak memberikan fleksibilitas bagi pengembang yang memerlukan dataset kustom. Menggunakan kerangka pengindeks memungkinkan pemrosesan data kustom yang lebih banyak untuk memenuhi kebutuhan aplikasi tertentu.

Keamanan: Data indeks harus aman, jika tidak, aplikasi yang dibangun berdasarkan pengindeks tersebut juga rentan terhadap serangan. Meskipun semua pengindeks menggunakan token yang dipertaruhkan untuk menerapkan bentuk keamanan tertentu, solusi pengindeks lainnya mungkin menggunakan bukti untuk lebih meningkatkan keamanan.

Kecepatan dan skalabilitas: Seiring dengan pertumbuhan blockchain, volume transaksi juga meningkat, yang membuat pengindeksan data dalam jumlah besar menjadi semakin rumit. Mempertahankan efisiensi menjadi semakin sulit, tetapi protokol pengindeks memperkenalkan solusi untuk memenuhi permintaan yang terus meningkat ini.

Jaringan yang didukung: Meskipun sebagian besar kegiatan blockchain masih dilakukan di Ethereum, seiring berjalannya waktu, berbagai blockchain semakin populer. Memberikan dukungan untuk beberapa rantai yang tidak didukung oleh protokol pengindeks lainnya dapat menghasilkan lebih banyak pangsa pasar biaya.

Meskipun pengindeks banyak digunakan dalam pengembangan aplikasi terdesentralisasi, potensi mereka masih sangat besar, terutama dalam konteks integrasi kecerdasan buatan. Seiring dengan semakin populernya AI di Web2 dan Web3, kemampuan peningkatan mereka tergantung pada akses ke data yang relevan.