EthStorage 創設者: データの可用性と分散ストレージ

序章

これは分散型ロールアップ インタビュー シリーズの最終回であり、このエピソードでは「データの可用性と分散型ストレージ」の観点からロールアップ分散化について説明します。 EthStorage の創設者である Qi Zhou を招待し、DA がイーサリアム メインネット、EIP-4844、ダンクシャーディングのセキュリティ属性を再利用する方法と、さまざまな DA モデルのセキュリティ比較について話し合いました。 Zhou 教師はまた、次の Ethereum アップグレードで EthStorage を EIP-4844 と組み合わせる方法についても紹介しました。

ゲスト紹介

イーサリアム DA テクノロジー全体と、その上で行った分散ストレージについての私たちの考えを皆さんと共有できることを非常にうれしく思います。私は 2018 年に Web3 業界にフルタイムで入社しました。私は以前、Google や Facebook などの大企業でエンジニアとして働いていました。ジョージア工科大学で博士号を取得しています。 2018 年から、私は Web3 インフラストラクチャをフォローし、取り組んでいます。主な理由は、分散システムや分散ストレージなど、以前に大きな工場でもこれを行っていたからです。また、ブロックチェーン全体のこの部分には、まだまだ改善の余地があると思います。実行シャーディングと呼ばれるテクノロジーなど、最初に何をしたかは関係ありません。つまり、これはイーサリアムのシャーディング 1.0 であり、現在はイーサリアムのシャーディング 2.0 のデータ シャーディングと呼ばれるテクノロジーと、その後のデータの可用性です。実際、これらはすべて、Web3 インフラストラクチャ全体で実証されているいくつかのイノベーションと成果です。

したがって、私たちはイーサリアムのロードマップにも厳密に従っており、このコミュニティの方法で学習と研究を行い、参加して改善しています。昨年末、私たちは「データ可用性サンプリング」に関する研究に対してイーサリアム財団から支援を受けることができ、大変光栄に思いました。イーサリアム財団がデータを効果的に回復する方法を含む、ダンクシャーディングに関する理論的研究や研究を行うのを支援してください。同時に、イーサリアムのDAテクノロジーに基づいたイーサリアムデータレイヤーであるEthStorageの開発も行っています。イーサリアムのスマート コントラクトを使用して、オフチェーン データ ストレージを大規模に検証できます。これはイーサリアムにとっても非常に意味のあることです。そこで今日は、EthStorage が DA テクノロジーに基づいてデータ ストレージ レイヤーのネットワークをより適切に構築する方法を含め、皆さんと共有できることを非常にうれしく思います。

インタビューセクション

パート 1: DA の定義に関するディスカッション

データ可用性 (DA) がロールアップを安全に保つ方法

まず、DAについて調べていく過程で、DAの定義を理解していない人が多いことにも気づきました。その前に、Dankrad Feist などのイーサリアム財団の多くのメンバーと DA について、そしてイーサリアム L2 全体で DA が果たす重要な役割についても話し合いました。

イーサリアム ロールアップの基本的な動作メカニズム、チェーン上のトランザクションをオフチェーンに移動し、一連の証明方法 (不正証明と有効性証明) を使用してこれらの実行結果を L1 スマート コントラクトに伝える方法について説明しました。これらの証明によってそれが真実であることを証明してください。

次に、非常に重要な核心は、イーサリアム ネットワーク自体のセキュリティを再利用しながら、同時にイーサリアム全体のコンピューティング能力を大幅に拡張できることを望んでいることです。先ほど、コンピューティング能力の拡大が実はチェーン上の計算をチェーンから外しつつあると言いましたが、イーサリアムのセキュリティを同時に実現するにはどうすればよいでしょうか。

たとえば、オプティミスティック ロールアップの場合、誰かがシーケンサーに悪意のあることを要求できるようにするにはどうすればよいでしょうか? チェーンの下にある特定の元のトランザクションがどのようなものであるかを知ることは非常に重要です。チェーン外の特定の元のトランザクションが利用できない場合、チェーン上のシーケンサーに要求するための元のトランザクション レコードが見つかりません。したがって、DA は各オフチェーン トランザクションのメタデータをチェーン上で利用できるようにする必要があるため、セキュリティを保証できます。

ブロックスペースを拡張

すべてのトランザクション データをチェーンにアップロードする必要があるため、計算が必要ない場合でも、膨大なトランザクション データが生成されます。そして、それが解決しなければならない核心的な問題は、ブロック空間を拡張するのに非常に有効な技術であることは誰でも理解できるでしょう。ブロックチェーン全体の構造をよく理解していれば、各ブロックには多くのトランザクション コンテンツが含まれています。このトランザクションのブロック自体をブロックスペースと呼びます。

現在、イーサリアムの各ブロックの容量は約 2,300 KB です。しかし、そのような数では明らかにイーサリアムの次の拡張のニーズを満たすことができません。ここでは非常に高速な計算が可能です。200 KB のスペースを各トランザクションの数 (約 100 バイト) で割って、2000 トランザクションの数を取得します。 2000トランザクションをイーサリアム12のブロックタイムで割ると、イーサリアムのTPSの上限は約100に制限されることになります。まあ、これは実際にはイーサリアム拡張計画全体からすると非常に小さな数字です。

したがって、イーサリアム L2 が重視しているのは、セキュリティをどのように確保するか、そして大量のブロックデータをブロック空間にどのように配置するかということです。そして、不正行為の証明であれ、正当性の証明であれ、イーサリアムのブロック空間のデータを対応するチェックに再利用することができます。最後に、オフチェーントランザクションの計算結果の安全性はイーサリアムによって保証されます。つまり、これは基本的に DA とイーサリアムのセキュリティの関係になります。

ネットワーク帯域幅コストとストレージ コストの観点から DA を理解する

DA の主なコストは 2 つの側面であり、1 つはネットワーク帯域幅のコストと呼ばれ、もう 1 つはストレージのコストです。

ネットワーク帯域幅コストの観点から言えば、例えば、P2Pネットワークにおいて、ビットコインやイーサリアムの現在のブロックブロードキャスト方式は、ゴシップ（ブロードキャスト）を通じてすべてのP2Pノードを送信して、新しいブロックがあることをみんなに知らせるというものです。このようなネットワーク アプローチの利点は、非常に安全であり、すべてのネットワーク ノードが最終的にバックアップを受信できることです。

欠点は、ネットワーク帯域幅と遅延に大きなオーバーヘッドがあることです。 POS のアップグレード後、イーサリアムは 12 秒以内にブロックを生成することがわかっています。したがって、ブロックが大きすぎて 12 秒以上かかる場合は、大量のブロックを生成できず、最終的にはネットワーク全体の帯域幅が許容できないレベルまで低下します。したがって、DA は、ブロックチェーン上の大量のデータの帯域幅の問題に対する解決策と考えることができます。

次に、ストレージコストですが、実際、イーサリアム財団はこの側面について多くの議論を行っています。コア ソリューションの設計では、DA 全体によってアップロードされたブロック データを常に保存することはできません。

これは別の疑問につながります。チェーン上に非常に多くのデータがある場合、1 ～ 2 週間後にはイーサリアム プロトコルによって破棄されます。したがって、このプロセスにおいて、これらの DA データを保存するためのより優れた分散ソリューションはあるでしょうか。

これは、EthStorage を設計する際の私たちの当初の意図の 1 つでもあります。まず、多くのロールアップではデータを長期間保存する必要があります。 2 番目の側面では、これらのデータを使用して、実際に DA を使用して、いくつかのフルチェーン アプリケーションをより適切に完成させることができます。たとえば、チェーン全体の NFT や多くの DApp のフロントエンド、さらにはソーシャル ネットワークの全員が書いた多数の記事やコメントも含まれます。そして、これらをDAネットワーク経由でブロックチェーン全体に低コストでアップロードすることができ、イーサリアムL1と同等のセキュリティを得ることができます。

これは、イーサリアムの多くのコア担当者との議論を含め、イーサリアム DA のテクノロジー全体を研究した結果、この点でイーサリアムにはストレージ層が必要であり、ストレージ層を担当する必要のない分散型であることがわかりました。イーサリアム自体 長期データ保管の問題を解決するために、プロトコルをアップグレードするストレージ層、またはモジュラーストレージ層と呼ばれるもの。

パート II: さまざまな DA スキームに関するディスカッション

EIP-4844 と Danksharding の関係、および EIP-4844 を導入する必要がある理由

プロトダンクシャーディングは EIP-4844 とも呼ばれ、これはイーサリアムの次の非常にメジャーなアップグレードと見なすことができると思います。 4844 が行われるのには非常に重要な理由があり、イーサリアム ジーンがイーサリアム シャーディングのアップグレード ルート、つまりダンクシャーディングの時間を見積もると、全体のアップグレード時間は非常に長く、たとえば、アップグレードには 3 年かかる可能性があると考えられます。 5年。 2021年、2020年でした。

そしてその過程で、近いうちにイーサリアム上で多くのRollupが実行されるだろうと彼らは予測していますが、Dankshardingのせいで、Dankshardingによって提供されるデータインターフェイスは、現在Rollupによって使用されているCalldataデータインターフェイスとは完全に異なります。これにより、多数のイーサリアム アプリケーションが新しいインターフェイスのために迅速にアップグレードできなくなり、ダンクシャルディングによってもたらされる利点をシームレスに得ることができます。

昨年私が Devcon に行ったとき、Vitalik 氏は、イーサリアムがこれらのレイヤー 2 によりよくサービスを提供できるようになり、同じ Danksharding インターフェイスを使用しながらコントラクトを開発できるようになることを望んでいるとも述べました。 Danksharding がアップグレードされると、既存のテスト済みの契約をアップグレードすることなく、Danksharding によって提供される新しい利点を直接継承できます。

したがって、EIP-4844 は実際には Danksharding の超簡易バージョンであり、Data Hash と呼ばれる新しいオペコードと Binary Large Objects と呼ばれる新しいデータ オブジェクト (Blob) を含む、Danksharding と同じアプリケーション インターフェイスを提供します。

これらのデータオブジェクトは、あらかじめ Danksharding が提供するデータ構造とロールアップ互換性を持たせるように設計されており、Danksharding は同じ Data Hash や Blob などの同様の概念を提供します。しかし、EIP-4844を通じて、彼らはこれらのアイデアをイーサリアムの次のアップグレードに事前に実装しました。したがって、EIP-4844の設計機能全体で、そのインターフェイス、たとえばプリコンパイルや新しく追加された命令を確認すると、Danksharding全体の将来、それをイーサリアムに適用する方法がすでに漠然と見えています。レイヤー相互作用のプロセス。

この点に関して、イーサリアムはアプリケーションの観点からも、アプリケーションがイーサリアム上のさまざまな拡張テクノロジーをよりよく享受できるように、事前にアップグレードを行うことができ、追加のアップグレードコストが不要になることを考えています。

しかし、EIP-4844 ではブロック空間全体の拡張の問題が解決されないという問題があり、Danksharding ではそれを解決できます。現在のイーサリアムのブロックスペースは約200KBです。 Danksharding の後、仕様で計画されているサイズは 32 メガバイトで、これはほぼ 100 倍の改善です。したがって、現在の EIP-4844 は、ブロック上のブロックチェーンの帯域幅の問題を実際には解決しません。

ダンクシャーディングがブロックスペース拡張の問題をどのように解決するか

4844 の設計では、チェーン上のデータのブロードキャスト プロセス中に、以前の calldata と同じ方法が引き続き使用され、P2P ネットワークを通じてブロードキャストされます。このブロードキャスト方法は、最終的には P2P ネットワーク帯域幅全体の物理的なボトルネックによって制限されます。 Danksharding の設計方法は、P2P ネットワーク ブロードキャストを変更し、データ サンプリング技術を通じて、誰もがすべてのブロック データをダウンロードする必要がなく、これらのブロック データがダウンロードできることも認識します。

実は、これはある意味 ZK 法に似ていて、データのサンプリングを通じて、ネットワークにダンクシャルディングによってもたらされた (32 メガバイト/ブロック) ブロック データが含まれていることを知ります。ただし、32 メガバイトのデータをすべてダウンロードしてローカルに保存する必要はありません。これは、十分なマシン帯域幅と十分なストレージ領域のパフォーマンスがある場合にも実行できますが、通常の検証者の場合、32 メガバイトすべてのデータをダウンロードする必要はありません。

EIP-4844 テストネットの開発と経験

最近、社内 EIP-4844 テスト ネットワークを実行し、BLOB データのアップロード、コントラクトの呼び出し、データ検証などのテストに対応するコントラクトをデプロイし、完全に合格しました。したがって、EIP-4844 がオンラインになると、できるだけ早く契約を展開できます。

同時に、私たちはイーサリアムの一部の開発者との現在の協力や、私たちが開発した契約の一部を通じて、学習やさまざまなツールだけでなく、イーサリアムのさまざまなロールアップの開発に時間を提供できることを願っています。

そのため、Solidity はまだデータ ハッシュのオペコードをサポートできないため、オペコードをサポートするための新しいスマート コントラクトを含む、EIP-4844 のツール セットであるイーサリアムに最近多くのコードを送信しました。したがって、すべての作業はすでにイーサリアム財団の一部の開発者と同期しています。

データ可用性委員会 (DAC) の適用と制限

L2 ユーザーが支払う費用の 90% 以上はデータの可用性に対して支払われているため、データのアップロードのコストをより削減するために、ZKSync を含む多くの L2 プロジェクトが ZKPorter を立ち上げ、Arbitrum Made Arbitrum Nova を立ち上げました。彼らは独自の DAC データ可用性委員会を提供することで独自のデータ層を提供します。

このデータ委員会は、イーサリアムと同じ追加レベルのセキュリティを達成するための追加の信頼をもたらします。したがって、データ委員会を選択するときは、通常、このデータの保存に参加するいくつかの大手データ サービス プロバイダーまたは大手企業を選択します。しかし、実際には、多くの課題や疑問が残るでしょう。なぜなら、これは実際には、誰もが参加できるという意味の地方分権へのアクセス禁止の原則に違反していると誰もが考えているからです。しかし現状では、データ委員会のほとんどはLayer2プロジェクト関係者に非常に近い数少ない組織となっています。

Arbitrum Nova と同様、私が最後に見たときは、そのようなノードがおそらく 6 つか 7 つありました。たとえば、Google のクラウドや Amazon のクラウド上で実行されているデータ委員会ノードはこのデータを保存でき、すべての実行コストを Arbitrum Nova 上で提供できます。この利点は、現在の実行コストがイーサリアムの約 1,000 分の 1 であることです。すべてのデータをイーサリアムのレイヤー 1 に書き込む必要がないからです。しかし、現在は依然として比較的集中化されているため、比較的高額の申請についてはさらに懸念が高まるでしょう。なぜなら、数千万、数億の資金があれば、そのデータが信頼できると信じなければならないからです。データ委員会が使えます。

したがって、私たちが EthStorage を設計したとき、実際にはデータ委員会という概念はありませんでした。設計プロセスでは、誰もが参加してデータプロバイダーになれることを願っています。そして、暗号化された証明を使用して、このデータが実際に保存されていることを証明します。理論上はデータ委員会のこのモデルがあるため、データ委員会ノードが 7 つと 8 つあると言いましたが、実際には物理データは 1 つしか保存できませんが、アドレスが 7 つまたは 8 つあることを示すことができます。このデータを提供してください。

次に、データのセキュリティを確保するのに十分な物理コピーがデータにあることを証明するにはどうすればよいでしょうか。実際、これは私たちが EthStorage を行うときに非常に重要なイノベーションであり、イーサリアム財団の ESP (エコロジカル サポート プログラム) に説教するときに私たちが強調していることでもあります。 EthStorage で使用される ZK 暗号化テクノロジーを使用して、Layer2 データによって提供されるノードを保護します。彼らは許可なく参加することができ、ストレージのコピーが非常に多くあることを証明でき、データのセキュリティをより確実に確保できます。

したがって、DAC は確かに、データを Layer1 にアップロードするコストに対する非常に一時的な解決策であると思います。私たちは、EthStorage のいくつかの暗号化技術と、イーサリアムに基づくレイヤー 1 コントラクトのいくつかの証明検証方法を組み合わせることで、より優れたデータ ストレージ ソリューションを提供できると信じています。次に、イーサリアム 4844 の開始に伴い、これらの革新的なコンテンツとネットワーク上での実行結果を率先して皆さんと共有していきます。

EthStorage と DAC の違い

EthStorage は実際には Ethereum ストレージ ロールアップ、Storage rollup です。その場合、レイヤー 2 はイーサリアム EVM の実装ではなく、非常に大規模なデータベース、またはキー値データベースであると想定できます。最大 10 TB、数百 TB、さらには数千までのデータベースがあり、これは PB レベルのデータベースです。

次に、データベース内のデータがイーサリアムと同じセキュリティを確保できるようにするにはどうすればよいでしょうか。まず第一に、最初のステップは、データベース内のこれらすべての大規模データを DA を通じてイーサリアムのレイヤー 1 に公開する必要があるため、これらのデータがイーサリアムの DA レイヤー全体で利用可能であることを誰もが確認できるようになります。ただし、イーサリアム DA は約 2 週間または 4 週間でデータを破棄するため、永久に取得できるという保証はできません。

2 番目のステップは、データをアップロードし、レイヤー 2 ノードに保存した後です。 DAC とは異なり、当社のデータ ストレージ ノードには権限がなく、誰でも参加できます。そして、そのストレージを証明し、それに応じた報酬を受け取ります。この方法は、私たちが確立した一連のプルーフ オブ ストレージ メカニズムを使用しています。もちろん、このプルーフ オブ ストレージ メカニズムは、Filecoin や Arweave などのプルーフ オブ ストレージ システムの設計スキームにも影響を受けています。ただし、対応するストレージ証明を行うには、イーサリアムの DA フレームワークとイーサリアム スマート コントラクト用のネットワークと証明システムが必要です。したがって、この点で、私たちはイーサリアムの生態系全体、さらには分散ストレージ全体に対して非常にユニークな貢献をしていると信じています。

保管証明のメカニズム

基本的に、Filecoin や Arweave を含むすべての Proof-of-Storage メカニズムでは、最初にユーザーのメタデータをエンコードする必要があります。ただし、このエンコード プロセスはデータ プロバイダーのアドレスに従ってエンコードする必要があります。つまり、各データ プロバイダーは独自の異なるアドレスを持ち、そのアドレスとメタデータに従ってエンコードして一意のレプリカを保存する必要があります (のみ)。コピー）もの。たとえば、Hello World のデータは、それぞれが Hello World である従来の集中型データベースまたは従来の分散システム内の 4 つまたは 5 つの異なる物理マシンに保存される場合があります。しかし、EthStorage では、4、5、10、20 個が保存され、その hello world は各データプロバイダーのアドレスに従って異なるデータにエンコードされ、異なる場所に保存されます。

この利点は、暗号化メカニズムを使用して、非常に多くの異なるアドレス (異なるストレージ プロバイダー) が存在することを証明できることです。彼らはデータをエンコードし、エンコードされたデータに基づいて対応するストレージプルーフを作成しました。基本的に、Filecoin と Arweave はこれに似ています。ただし、それらは静的データのみを対象としており、現在はイーサリアム DA のホットデータを対象としています。そして、このデータの物理的なコピーが非常に多く存在することは、イーサリアムのスマート コントラクトを通じて検証できます。つまり、各エンコード データについて、これらのエンコード データがこのネットワークに保存されており、各エンコード データに対応するデータは、異なるストレージ プロバイダーのアドレスによってエンコードされているため、異なることを証明します。

したがって、基本的に、設計プロセス中に既存の分散ストレージのアイデアのいくつかを最適化および改善します。しかし同時に、動的データの変更、イーサリアム契約のガス費用を効果的に証明して最適化する方法など、イーサリアムの DA ソリューションについて多くの最適化を行う必要もあります。そのため、最先端のテクノロジーや研究を行う必要があります。

EthStorage が許可のない Proof of Storage を維持する方法

イーサリアムにはアーカイブノードと呼ばれる一種のノードがあり、世界情勢を含むイーサリアム内のすべてのトランザクションの履歴記録が保存されます。しかし、Danksharding の大きな課題は、Danksharding 計画では年間約 80 TB のデータが生成されることです。したがって、イーサリアムが 3 ～ 4 年間稼働していると仮定すると、200 ～ 300 TB のデータが生成され、そのデータは増加し続けることになります。そうですね、これは実際にはアーカイブ ノードに多くの課題を引き起こすことになります。アーカイブ ノードを実行するプロセスでは、全員にこのデータを保存するよう促すための追加のトークン エコノミーがないからです。

EthStorage はまず、データの永続的ストレージに対するトークン インセンティブの問題を解決する必要があります。この点に関して、私たちは実際に Arweave の割引キャッシュ フロー モデルを採用してインセンティブを実現しました。同時に、スマート コントラクト全体で実行させることは非常に効率的です。

2 つ目は、パーミッションレスなアプローチです。なぜなら、当社のインセンティブ設計では、10、50、さらには 100 のノードがネットワーク内にデータを保存することが奨励されているからです。したがって、どのノードでも、それらのいずれかに接続し、対応するデータを同期し、データ ストレージ パーティになることができます。より多くのデータインセンティブを得るために最適化された設計もあるかもしれません。

3 番目に、ストレージ ノードはすべてのデータを一度に保存する必要があるため、長期的には数百テラバイト、さらには PB レベルのデータになる可能性があります。したがって、単一ノードの場合、コストは非常に高くなります。そこで、ここでデータシャーディングと呼ばれるものをさらに作成しました。このように、通常のノードの場合、4 TB の容量スペースがあれば十分であり (現在の設計は 4 TB ですが、将来的には 8 TB にアップグレードされる可能性があります)、アーカイブされたノードの一部を保存できます。一部のインセンティブ メカニズムは、最終的に全員がこれらすべてのデータをまとめた後、すべてレイヤー 2 ネットワークに保存できるようにするためにも使用されます。

ここには、ノードのアーカイブによって引き起こされるデータが多すぎる問題、トークンのインセンティブの問題、分散アクセスの問題など、多くの問題があります...これらの問題はイーサリアムを通じて解決できますスマート コントラクトはレイヤー 1 にデプロイされ、自動的にそれを認識します。したがって、私たちはデータ ネットワークを提供するだけです。これにより、十分なデータ費用がある限り、誰もがデータをダウンロードしてストレージ証明書を生成し、それをイーサリアム ネットワークに送信して、対応する収益を達成できます。私たちの契約全体は基本的に設計されており、イーサリアムの 4844 Devnet でデバッグを開始しました。