*Artikel ini didasarkan pada presentasi oleh Simon Worthington di Boston Summit pada Mei 2023. *
Bacalhau merevolusi lanskap pemrosesan data dengan mengaktifkan komputasi data-native: mengirim kode untuk menjalankan analitik di tempat data berada, daripada memindahkan data ke kode. Dengan menjaga data dan mengizinkannya untuk diotorisasi, diaudit, dan dikendalikan untuk perhitungan, lebih banyak data dapat digunakan sekaligus mengurangi risiko penyalahgunaan, yang merupakan jawaban atas masalah tata kelola data. Volume data tumbuh 45% lebih cepat daripada bandwidth jaringan, 57% data disimpan di luar cloud atau pusat data tradisional, dan pemindahan data terlalu lambat dan mahal untuk organisasi mana pun yang beroperasi dalam skala besar.
Ada alasan bagus lainnya untuk menyimpan data secara lokal: kontrol. Baik melalui peraturan wajib seperti Undang-Undang Portabilitas dan Akuntabilitas Asuransi Kesehatan (HIPAA) atau Peraturan Perlindungan Data Umum (GDPR), atau perlindungan asli untuk rahasia keuangan atau perusahaan yang sensitif, hampir 100% dari semua data berada di bawah suatu bentuk tata kelola. Memindahkan data ke komputasi membawanya keluar dari zona aman biasanya dan meningkatkan risiko penyalahgunaan.
Sebagian besar data tidak sepenuhnya terbuka atau tertutup, tetapi ada dalam rentang tertentu. Dalam lingkup ini, orang tertentu dapat diberikan akses untuk tujuan tertentu.
Sumber: ODI
Sejak 2008, denda tata kelola data global telah mencapai hampir $250 miliar. Maka, tidak mengherankan jika sebagian besar bisnis takut berbagi data, sehingga 68% data perusahaan tidak dimanfaatkan. Faktanya, sebagian besar data yang dikontrol pada prinsipnya dapat dibagikan dan digunakan untuk pengambilan keputusan yang lebih efektif — tetapi hanya dengan orang yang tepat dan untuk tujuan yang tepat.
Berbagi data membutuhkan penegakan teknis
Sebagian besar organisasi mencoba memenuhi kebutuhan ini dengan perjanjian atau kontrak berbagi data yang ketat. Protokol ini mahal dan memakan waktu untuk disiapkan—untuk bisnis seperti pemerintah nasional atau lembaga keuangan, perlu waktu berbulan-bulan melalui tata kelola data untuk memungkinkan berbagi data di antara tim internal.
Lebih buruk lagi, perjanjian ini tidak berfungsi — sebagian besar perjanjian berbagi data sama sekali tidak dapat diterapkan dan hanya berfungsi untuk memberikan rasa aman yang palsu. Setelah data melewati batas kepercayaan, hanya mekanisme lunak (seperti memercayai setiap orang untuk mematuhi perjanjian) yang dapat mencegah penyalahgunaan. Operasi sebenarnya dari berbagi data tidak terlihat oleh semua orang, dan sulit untuk diawasi.
“Kontrak atau perjanjian antara penyedia data dan pengguna data seringkali terbukti tidak efektif.
Dalam skandal Cambridge Analytica, persyaratan kontrak benar-benar diabaikan dan data pribadi disalahgunakan.
Kurangnya bukti teknis yang kuat dapat menghalangi akses ruang sidang ke informasi yang valid dan mempersulit regulator, politisi, jurnalis, dan publik untuk memahami apa yang terjadi. "
——Menaruh kepercayaan pada kepercayaan data, Daftarkan Dinamika, 2019
Jelas, yang dibutuhkan adalah cara baru untuk menggunakan kembali data melintasi batas kepercayaan: cara yang memberi analis akses sederhana dan terkontrol ke data tanpa mempertaruhkan denda peraturan dan tajuk utama kepada pemilik data.
Bacalhau menjadikan berbagi data terlihat dan dapat diaudit
Di Bacalhau, kami percaya bahwa komputasi data-native adalah jawaban atas tantangan tata kelola data. Dengan menyimpan data dan mengizinkannya untuk diotorisasi, diaudit, dan dikontrol untuk komputasi, lebih banyak data dapat digunakan sambil mengurangi risiko penyalahgunaan.
Terlebih lagi, karena Bacalhau adalah platform komputasi terdistribusi, tidak perlu memindahkan data ke penyimpanan pusat. Data dapat berada di mana pun seharusnya di dalam organisasi, menghindari perubahan organisasi yang sulit dan menghilangkan kendali dari pemilik data.
Kami dengan bangga mengumumkan bahwa sebagai bagian dari Bacalhau 1.0, kami telah menambahkan kemampuan tata kelola pekerjaan dan data. Dengan Bacalhau, pemilik data dapat mengontrol siapa, apa, di mana, mengapa, dan bagaimana perhitungan dilakukan pada data pribadi mereka.
Kode kontrol dan keluaran Bacalhau
Bacalhau menggunakan pendekatan dua langkah untuk mengontrol pekerjaan. Pertama, pemilik data memiliki kesempatan untuk memeriksa apakah pekerjaan mematuhi kebijakan mereka. Fase pra-tata kelola ini terjadi sebelum pekerjaan mulai berjalan dan memungkinkan tata kelola untuk menyetujui atau menolak perhitungan berdasarkan data yang akan digunakan, siapa yang meminta pekerjaan, dan kode yang akan dijalankan terhadap pekerjaan.
Sementara manusia selalu memegang kendali, tidak setiap keputusan harus dibuat oleh manusia. Proses pra-tata kelola bersifat fleksibel dan dapat diotomatisasi sesuai kebutuhan. Pemilik data dapat menetapkan kebijakan, memeriksa perhitungan yang akan datang secara mendalam, menetapkan kebijakan yang berbeda untuk orang yang berbeda, dan menjalankan algoritme kompleks yang menganalisis keamanan dan risiko. Ketika suatu pekerjaan tidak cocok untuk kontrol otomatis, manusia dapat membuat keputusan akhir.
Bacalhau menyediakan dua gateway untuk perhitungan - satu sebelum perhitungan dan satu setelah perhitungan.
Setelah disetujui, Bacalhau mengirimkan pekerjaan ke pelaksana yang sesuai, yang hanya memiliki akses ke data yang diminta dan diisolasi dengan aman dari sistem host. Bacalhau memberlakukan batasan sumber daya pada pekerjaan untuk mengontrol daya pemrosesan dan penggunaan memori.
Sementara pra-kontrol memberikan garis pertahanan kepercayaan pertama yang masuk akal, secara umum, memutuskan apa yang akan dilakukan program komputer tanpa menjalankannya sulit dan membutuhkan keterampilan teknis. Kami telah belajar dari pengalaman bahwa ONS dan lingkungan penelitian terkontrol terkait lainnya telah secara aman mengizinkan akses terkontrol ke data selama beberapa dekade dan meminjam dari praktik mereka di ranah digital. Jadi, selain kontrol pra-eksekusi, Bacalhau juga memungkinkan modifikasi hasil setelah eksekusi sebelum dirilis ke pengirim tugas.
Saat Bacalhau menyelesaikan perhitungannya, hasil akan disimpan ke kolom pra-rilis pribadi. Administrator kemudian menggunakan hasil pemeriksaan latar belakang pekerjaan untuk menentukan apakah hasil tersebut diharapkan untuk pekerjaan tersebut. Hasil dapat diunduh jika administrator menganggap konten tersebut cocok untuk dibagikan. Terlebih lagi, akses ke area penyimpanan pribadi dikunci dengan ketat, dan pengguna hanya dapat mengalirkan hasil untuk pekerjaan mereka sendiri melalui fitur unduhan Bacalhau.
Seperti halnya pra-kontrol, seluruh rangkaian analisis yang kompleks dapat dilakukan pada hasilnya. Dengan teknologi Amplify, pemilik data dapat secara otomatis mendeteksi informasi identitas pribadi (PII), meringkas data tabular seperti CSV, dan menganalisis konten dalam gambar dan klip video. Metadata yang dihasilkan dapat digunakan untuk mempublikasikan hasil secara otomatis dan memberikan informasi berharga untuk pengambilan keputusan manusia.
Kontrol untuk membuka pembelajaran bersama baru
Komputasi pada data yang dipisahkan oleh batas kepercayaan memungkinkan berbagi data secara besar-besaran, namun saat ini tidak ada solusi teknis yang aman. Organisasi sekarang dapat menerapkan moderasi pekerjaan Bacalhau dan membuka akses data tanpa memerlukan tata kelola data yang rumit jika data yang dimiliki organisasi dibagikan secara lebih luas untuk menghasilkan nilai bersama.
Misalnya, sebuah universitas dapat menyediakan lebih banyak data untuk ilmuwan warga atau peneliti luar, satu departemen pemerintah dapat mengizinkan yang lain untuk menganalisis datanya, atau satu tim di lembaga keuangan yang diatur secara ketat dapat mengizinkan yang lain untuk menganalisis datanya secara mendalam. Singkatnya, penting untuk tidak merilis data mentah ke pengguna yang kurang dapat dipercaya. Bacalhau memastikan bahwa pengguna mendapatkan hasil analisis mereka dan tidak lebih.
Model komputasi terkontrol terdistribusi yang sama juga memungkinkan pembelajaran federasi di antara peserta dalam organisasi yang berbeda. Dengan Bacalhau, organisasi independen dapat melakukan analisis mendalam dari data agregat tanpa berbagi data. Dengan teknik pembelajaran federasi, ilmuwan data sekarang dapat melatih pembelajaran mesin atau model AI pada kumpulan data dari banyak organisasi independen atau bahkan pesaing yang berbeda tanpa memberikan organisasi tersebut kendali atas data dan visibilitas yang akurat ke dalam penggunaan data.
Misalnya, instansi pemerintah pusat yang bertanggung jawab untuk merumuskan kebijakan ekonomi makro dapat menggunakan data yang dimiliki oleh organisasi lokal. Demikian pula, badan industri seperti regulator asuransi dapat melatih model dengan mengirimkan pekerjaan Bacalhau pembelajaran federasi ke semua perusahaan asuransi anggota mereka.
Memusatkan data di satu tempat dapat menyebabkan penjualan atau penyalahgunaan data agregat yang berharga ini; namun menyimpan data secara lokal memungkinkan setiap perusahaan asuransi memastikan datanya digunakan hanya untuk tujuan yang disepakati bersama demi keuntungan bersama.
Hitung pulau untuk analisis tema tertentu
Terakhir, kontrol halus atas eksekusi pekerjaan yang disediakan oleh Bacalhau sekarang memungkinkan administrator menjadi pintu gerbang ke pulau komputasi. Dalam struktur ini, penyedia komputasi independen dan pemilik data yang tertarik untuk menyediakan sumber daya untuk tujuan tertentu dapat mendelegasikan otorisasi pekerjaan kepada pengontrol tepercaya.
Misalnya, para ilmuwan yang berkolaborasi untuk mengumpulkan data medis yang dapat membantu pengobatan kanker dapat memberikan data dan komputasi melalui kurator eksternal yang mereka percayai. Pengontrol hanya menerima pekerjaan yang sesuai dengan kebijakan yang disepakati—dalam hal ini, pekerjaan yang berkontribusi pada perawatan baru untuk kanker.
Dengan cara ini, para ilmuwan dapat berfokus pada tujuan barang publik yang lebih besar dengan mendelegasikan permintaan akses eksternal ke pengontrol. Dengan log audit Bacalhau yang kuat, para ilmuwan nantinya dapat memverifikasi bahwa pengontrol bertindak sesuai dengan kebijakan yang disepakati.
Bacalhau adalah masa depan berbagi data
Kami sangat bersemangat untuk merilis kemampuan tata kelola pekerjaan dan data di Bacalhau 1.0! Kami percaya bahwa komputasi data mewakili cara berpikir baru tentang berbagi data—singkatnya, menjaga keamanan data dengan tidak membagikannya!
Saat ini, kami bekerja sama dengan perusahaan dan lembaga pemerintah yang mengenali potensi komputasi yang diatur melintasi batas kepercayaan. Jika Anda ingin mempelajari lebih lanjut tentang bagaimana fitur ini dapat bekerja untuk Anda, bergabunglah dengan Bacalhau Slack atau hubungi kami secara langsung.
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
Memahami Bacalhau 1.0 dalam satu artikel: Membuka potensi data pribadi
Sumber asli: Jaringan Filecoin
*Artikel ini didasarkan pada presentasi oleh Simon Worthington di Boston Summit pada Mei 2023. *
Bacalhau merevolusi lanskap pemrosesan data dengan mengaktifkan komputasi data-native: mengirim kode untuk menjalankan analitik di tempat data berada, daripada memindahkan data ke kode. Dengan menjaga data dan mengizinkannya untuk diotorisasi, diaudit, dan dikendalikan untuk perhitungan, lebih banyak data dapat digunakan sekaligus mengurangi risiko penyalahgunaan, yang merupakan jawaban atas masalah tata kelola data. Volume data tumbuh 45% lebih cepat daripada bandwidth jaringan, 57% data disimpan di luar cloud atau pusat data tradisional, dan pemindahan data terlalu lambat dan mahal untuk organisasi mana pun yang beroperasi dalam skala besar.
Ada alasan bagus lainnya untuk menyimpan data secara lokal: kontrol. Baik melalui peraturan wajib seperti Undang-Undang Portabilitas dan Akuntabilitas Asuransi Kesehatan (HIPAA) atau Peraturan Perlindungan Data Umum (GDPR), atau perlindungan asli untuk rahasia keuangan atau perusahaan yang sensitif, hampir 100% dari semua data berada di bawah suatu bentuk tata kelola. Memindahkan data ke komputasi membawanya keluar dari zona aman biasanya dan meningkatkan risiko penyalahgunaan.
Sebagian besar data tidak sepenuhnya terbuka atau tertutup, tetapi ada dalam rentang tertentu. Dalam lingkup ini, orang tertentu dapat diberikan akses untuk tujuan tertentu.
Sumber: ODI
Sejak 2008, denda tata kelola data global telah mencapai hampir $250 miliar. Maka, tidak mengherankan jika sebagian besar bisnis takut berbagi data, sehingga 68% data perusahaan tidak dimanfaatkan. Faktanya, sebagian besar data yang dikontrol pada prinsipnya dapat dibagikan dan digunakan untuk pengambilan keputusan yang lebih efektif — tetapi hanya dengan orang yang tepat dan untuk tujuan yang tepat.
Berbagi data membutuhkan penegakan teknis
Sebagian besar organisasi mencoba memenuhi kebutuhan ini dengan perjanjian atau kontrak berbagi data yang ketat. Protokol ini mahal dan memakan waktu untuk disiapkan—untuk bisnis seperti pemerintah nasional atau lembaga keuangan, perlu waktu berbulan-bulan melalui tata kelola data untuk memungkinkan berbagi data di antara tim internal.
Lebih buruk lagi, perjanjian ini tidak berfungsi — sebagian besar perjanjian berbagi data sama sekali tidak dapat diterapkan dan hanya berfungsi untuk memberikan rasa aman yang palsu. Setelah data melewati batas kepercayaan, hanya mekanisme lunak (seperti memercayai setiap orang untuk mematuhi perjanjian) yang dapat mencegah penyalahgunaan. Operasi sebenarnya dari berbagi data tidak terlihat oleh semua orang, dan sulit untuk diawasi.
Jelas, yang dibutuhkan adalah cara baru untuk menggunakan kembali data melintasi batas kepercayaan: cara yang memberi analis akses sederhana dan terkontrol ke data tanpa mempertaruhkan denda peraturan dan tajuk utama kepada pemilik data.
Bacalhau menjadikan berbagi data terlihat dan dapat diaudit
Di Bacalhau, kami percaya bahwa komputasi data-native adalah jawaban atas tantangan tata kelola data. Dengan menyimpan data dan mengizinkannya untuk diotorisasi, diaudit, dan dikontrol untuk komputasi, lebih banyak data dapat digunakan sambil mengurangi risiko penyalahgunaan.
Terlebih lagi, karena Bacalhau adalah platform komputasi terdistribusi, tidak perlu memindahkan data ke penyimpanan pusat. Data dapat berada di mana pun seharusnya di dalam organisasi, menghindari perubahan organisasi yang sulit dan menghilangkan kendali dari pemilik data.
Kami dengan bangga mengumumkan bahwa sebagai bagian dari Bacalhau 1.0, kami telah menambahkan kemampuan tata kelola pekerjaan dan data. Dengan Bacalhau, pemilik data dapat mengontrol siapa, apa, di mana, mengapa, dan bagaimana perhitungan dilakukan pada data pribadi mereka.
Kode kontrol dan keluaran Bacalhau
Bacalhau menggunakan pendekatan dua langkah untuk mengontrol pekerjaan. Pertama, pemilik data memiliki kesempatan untuk memeriksa apakah pekerjaan mematuhi kebijakan mereka. Fase pra-tata kelola ini terjadi sebelum pekerjaan mulai berjalan dan memungkinkan tata kelola untuk menyetujui atau menolak perhitungan berdasarkan data yang akan digunakan, siapa yang meminta pekerjaan, dan kode yang akan dijalankan terhadap pekerjaan.
Sementara manusia selalu memegang kendali, tidak setiap keputusan harus dibuat oleh manusia. Proses pra-tata kelola bersifat fleksibel dan dapat diotomatisasi sesuai kebutuhan. Pemilik data dapat menetapkan kebijakan, memeriksa perhitungan yang akan datang secara mendalam, menetapkan kebijakan yang berbeda untuk orang yang berbeda, dan menjalankan algoritme kompleks yang menganalisis keamanan dan risiko. Ketika suatu pekerjaan tidak cocok untuk kontrol otomatis, manusia dapat membuat keputusan akhir.
Bacalhau menyediakan dua gateway untuk perhitungan - satu sebelum perhitungan dan satu setelah perhitungan.
Setelah disetujui, Bacalhau mengirimkan pekerjaan ke pelaksana yang sesuai, yang hanya memiliki akses ke data yang diminta dan diisolasi dengan aman dari sistem host. Bacalhau memberlakukan batasan sumber daya pada pekerjaan untuk mengontrol daya pemrosesan dan penggunaan memori.
Sementara pra-kontrol memberikan garis pertahanan kepercayaan pertama yang masuk akal, secara umum, memutuskan apa yang akan dilakukan program komputer tanpa menjalankannya sulit dan membutuhkan keterampilan teknis. Kami telah belajar dari pengalaman bahwa ONS dan lingkungan penelitian terkontrol terkait lainnya telah secara aman mengizinkan akses terkontrol ke data selama beberapa dekade dan meminjam dari praktik mereka di ranah digital. Jadi, selain kontrol pra-eksekusi, Bacalhau juga memungkinkan modifikasi hasil setelah eksekusi sebelum dirilis ke pengirim tugas.
Saat Bacalhau menyelesaikan perhitungannya, hasil akan disimpan ke kolom pra-rilis pribadi. Administrator kemudian menggunakan hasil pemeriksaan latar belakang pekerjaan untuk menentukan apakah hasil tersebut diharapkan untuk pekerjaan tersebut. Hasil dapat diunduh jika administrator menganggap konten tersebut cocok untuk dibagikan. Terlebih lagi, akses ke area penyimpanan pribadi dikunci dengan ketat, dan pengguna hanya dapat mengalirkan hasil untuk pekerjaan mereka sendiri melalui fitur unduhan Bacalhau.
Seperti halnya pra-kontrol, seluruh rangkaian analisis yang kompleks dapat dilakukan pada hasilnya. Dengan teknologi Amplify, pemilik data dapat secara otomatis mendeteksi informasi identitas pribadi (PII), meringkas data tabular seperti CSV, dan menganalisis konten dalam gambar dan klip video. Metadata yang dihasilkan dapat digunakan untuk mempublikasikan hasil secara otomatis dan memberikan informasi berharga untuk pengambilan keputusan manusia.
Kontrol untuk membuka pembelajaran bersama baru
Komputasi pada data yang dipisahkan oleh batas kepercayaan memungkinkan berbagi data secara besar-besaran, namun saat ini tidak ada solusi teknis yang aman. Organisasi sekarang dapat menerapkan moderasi pekerjaan Bacalhau dan membuka akses data tanpa memerlukan tata kelola data yang rumit jika data yang dimiliki organisasi dibagikan secara lebih luas untuk menghasilkan nilai bersama.
Misalnya, sebuah universitas dapat menyediakan lebih banyak data untuk ilmuwan warga atau peneliti luar, satu departemen pemerintah dapat mengizinkan yang lain untuk menganalisis datanya, atau satu tim di lembaga keuangan yang diatur secara ketat dapat mengizinkan yang lain untuk menganalisis datanya secara mendalam. Singkatnya, penting untuk tidak merilis data mentah ke pengguna yang kurang dapat dipercaya. Bacalhau memastikan bahwa pengguna mendapatkan hasil analisis mereka dan tidak lebih.
Model komputasi terkontrol terdistribusi yang sama juga memungkinkan pembelajaran federasi di antara peserta dalam organisasi yang berbeda. Dengan Bacalhau, organisasi independen dapat melakukan analisis mendalam dari data agregat tanpa berbagi data. Dengan teknik pembelajaran federasi, ilmuwan data sekarang dapat melatih pembelajaran mesin atau model AI pada kumpulan data dari banyak organisasi independen atau bahkan pesaing yang berbeda tanpa memberikan organisasi tersebut kendali atas data dan visibilitas yang akurat ke dalam penggunaan data.
Misalnya, instansi pemerintah pusat yang bertanggung jawab untuk merumuskan kebijakan ekonomi makro dapat menggunakan data yang dimiliki oleh organisasi lokal. Demikian pula, badan industri seperti regulator asuransi dapat melatih model dengan mengirimkan pekerjaan Bacalhau pembelajaran federasi ke semua perusahaan asuransi anggota mereka.
Memusatkan data di satu tempat dapat menyebabkan penjualan atau penyalahgunaan data agregat yang berharga ini; namun menyimpan data secara lokal memungkinkan setiap perusahaan asuransi memastikan datanya digunakan hanya untuk tujuan yang disepakati bersama demi keuntungan bersama.
Hitung pulau untuk analisis tema tertentu
Terakhir, kontrol halus atas eksekusi pekerjaan yang disediakan oleh Bacalhau sekarang memungkinkan administrator menjadi pintu gerbang ke pulau komputasi. Dalam struktur ini, penyedia komputasi independen dan pemilik data yang tertarik untuk menyediakan sumber daya untuk tujuan tertentu dapat mendelegasikan otorisasi pekerjaan kepada pengontrol tepercaya.
Misalnya, para ilmuwan yang berkolaborasi untuk mengumpulkan data medis yang dapat membantu pengobatan kanker dapat memberikan data dan komputasi melalui kurator eksternal yang mereka percayai. Pengontrol hanya menerima pekerjaan yang sesuai dengan kebijakan yang disepakati—dalam hal ini, pekerjaan yang berkontribusi pada perawatan baru untuk kanker.
Dengan cara ini, para ilmuwan dapat berfokus pada tujuan barang publik yang lebih besar dengan mendelegasikan permintaan akses eksternal ke pengontrol. Dengan log audit Bacalhau yang kuat, para ilmuwan nantinya dapat memverifikasi bahwa pengontrol bertindak sesuai dengan kebijakan yang disepakati.
Bacalhau adalah masa depan berbagi data
Kami sangat bersemangat untuk merilis kemampuan tata kelola pekerjaan dan data di Bacalhau 1.0! Kami percaya bahwa komputasi data mewakili cara berpikir baru tentang berbagi data—singkatnya, menjaga keamanan data dengan tidak membagikannya!
Saat ini, kami bekerja sama dengan perusahaan dan lembaga pemerintah yang mengenali potensi komputasi yang diatur melintasi batas kepercayaan. Jika Anda ingin mempelajari lebih lanjut tentang bagaimana fitur ini dapat bekerja untuk Anda, bergabunglah dengan Bacalhau Slack atau hubungi kami secara langsung.