*Este artículo se basa en una presentación de Simon Worthington en la Cumbre de Boston en mayo de 2023. *
Bacalhau revoluciona el panorama del procesamiento de datos al permitir la computación nativa de datos: enviar código para ejecutar análisis donde residen los datos, en lugar de mover datos al código. Al preservar los datos y permitir que se autoricen, auditen y controlen para el cómputo, se pueden usar más datos y reducir el riesgo de uso indebido, que es la respuesta al problema del gobierno de datos. Los volúmenes de datos crecen un 45 % más rápido que el ancho de banda de la red, el 57 % de los datos se almacenan fuera de la nube o de los centros de datos tradicionales, y el movimiento de datos es demasiado lento y costoso para cualquier organización que opere a gran escala.
Hay otra buena razón para mantener los datos localmente: el control. Ya sea a través de regulaciones obligatorias como la Ley de Portabilidad y Responsabilidad de Seguros Médicos (HIPAA) o el Reglamento General de Protección de Datos (GDPR), o protecciones nativas para secretos financieros o corporativos confidenciales, casi el 100% de todos los datos están bajo alguna forma de gobierno. Mover datos a la informática los saca de su zona segura habitual y aumenta el riesgo de uso indebido.
La mayoría de los datos no son estrictamente abiertos o cerrados, sino que existen dentro de un cierto rango. Dentro de este ámbito, se puede otorgar acceso a personas específicas para propósitos específicos.
Fuente: El ODI
Desde 2008, las multas por gobernanza de datos globales han totalizado casi $250 mil millones. Por lo tanto, no sorprende que la mayoría de las empresas teman compartir datos, lo que da como resultado que el 68 % de los datos corporativos queden sin explotar. De hecho, la mayoría de los datos controlados podrían, en principio, compartirse y usarse para una toma de decisiones más efectiva, pero solo con las personas adecuadas y para el propósito correcto.
El intercambio de datos requiere cumplimiento técnico
La mayoría de las organizaciones intentan satisfacer esta necesidad con estrictos acuerdos o contratos de intercambio de datos. La configuración de estos protocolos es costosa y lleva mucho tiempo: para empresas como gobiernos nacionales o instituciones financieras, puede llevar meses pasar por el control de datos para permitir el intercambio de datos entre equipos internos.
Peor aún, estos acuerdos simplemente no funcionan: la mayoría de los acuerdos de intercambio de datos son completamente inaplicables y solo sirven para brindar una falsa sensación de seguridad. Una vez que los datos cruzan el límite de confianza, solo los mecanismos blandos (como confiar en que todos cumplan con el acuerdo) pueden prevenir el abuso. La operación real de compartir datos es invisible para todos y es difícil de supervisar.
“Los contratos o acuerdos entre proveedores de datos y usuarios de datos a menudo resultan ineficaces.
En el escándalo de Cambridge Analytica, los términos del contrato se ignoraron por completo y los datos personales se usaron indebidamente.
La falta de pruebas técnicas sólidas podría negar a los tribunales el acceso a información válida y dificultar que los reguladores, los políticos, los periodistas y el público entiendan lo que sucedió. "
——Poner la confianza en los fideicomisos de datos, Register Dynamics, 2019
Claramente, lo que se necesita es una nueva forma de reutilizar los datos a través de los límites de la confianza: una que brinde a los analistas un acceso simple y controlado a los datos sin arriesgarse a multas reglamentarias y titulares para los propietarios de los datos.
Bacalhau hace que el intercambio de datos sea visible y auditable
En Bacalhau, creemos que la computación nativa de datos es la respuesta a los desafíos del gobierno de datos. Al preservar los datos y permitir que se autoricen, auditen y controlen para el cómputo, se pueden usar más datos y se reduce el riesgo de uso indebido.
Además, dado que Bacalhau es una plataforma informática distribuida, no es necesario trasladar los datos al almacenamiento central. Los datos pueden vivir donde se supone que deben estar en la organización, lo que evita cambios organizativos difíciles y quita el control a los propietarios de los datos.
Estamos orgullosos de anunciar que, como parte de Bacalhau 1.0, hemos agregado capacidades de gobierno de datos y trabajo. Con Bacalhau, los propietarios de datos pueden controlar quién, qué, dónde, por qué y cómo se realizan los cálculos en sus datos privados.
Código de control y salida de Bacalhau
Bacalhau utiliza un enfoque de dos pasos para el control del trabajo. Primero, los propietarios de los datos tienen la oportunidad de verificar que los trabajos cumplan con sus políticas. Esta fase previa al control ocurre antes de que comience a ejecutarse un trabajo y permite que el control apruebe o rechace los cálculos en función de los datos que se utilizarán, quién solicita el trabajo y el código que se ejecutará en el trabajo.
Si bien los humanos siempre tienen el control, no todas las decisiones deben ser tomadas por un humano. El proceso de pre-gobernanza es flexible y se puede automatizar según sea necesario. Los propietarios de datos pueden establecer políticas, inspeccionar en profundidad los próximos cálculos, establecer diferentes políticas para diferentes personas e invocar algoritmos complejos que analizan la seguridad y el riesgo. Cuando un trabajo no es adecuado para el control automático, un ser humano puede tomar la decisión final.
Bacalhau proporciona dos puertas de enlace para la computación: una antes de la computación y otra después de la computación.
Una vez aprobado, Bacalhau envía el trabajo al ejecutor correspondiente, que solo tiene acceso a los datos solicitados y está aislado de forma segura del sistema host. Bacalhau impone restricciones de recursos en los trabajos para controlar la potencia de procesamiento y el uso de la memoria.
Si bien el control previo proporciona una primera línea razonable de defensa de la confianza, en términos generales, decidir qué hará un programa de computadora sin ejecutarlo es difícil y requiere habilidades técnicas. Hemos aprendido de la experiencia que el ONS y otros entornos de investigación controlados relacionados han permitido de forma segura el acceso controlado a los datos durante décadas y los han tomado prestados de sus prácticas en el ámbito digital. Por lo tanto, además de los controles previos a la ejecución, Bacalhau también permite la modificación de los resultados después de la ejecución antes de que se envíen a los remitentes de tareas.
Cuando Bacalhau completa sus cálculos, guarda los resultados en un campo privado de prelanzamiento. Luego, los administradores usan los resultados de la verificación de antecedentes del trabajo para determinar si se esperan esos resultados para el trabajo. Los resultados se pueden descargar si el administrador considera que el contenido es adecuado para compartir. Además, el acceso al área de almacenamiento privado está estrictamente bloqueado y los usuarios solo pueden transmitir los resultados de sus propios trabajos a través de la función de descarga de Bacalhau.
Al igual que con los controles previos, se puede realizar un conjunto completo de análisis complejos sobre los resultados. Con la tecnología Amplify, los propietarios de datos pueden detectar automáticamente información de identificación personal (PII), resumir datos tabulares como CSV y analizar contenido dentro de imágenes y videoclips. Los metadatos generados se pueden utilizar tanto para publicar automáticamente los resultados como para proporcionar información valiosa para la toma de decisiones humanas.
Control para abrir un nuevo aprendizaje conjunto
La computación sobre datos separados por límites de confianza permite el intercambio masivo de datos, pero actualmente no existe una solución técnica segura. Las organizaciones ahora pueden aplicar la moderación de trabajos de Bacalhau y el acceso abierto a los datos sin la necesidad de un gobierno de datos complejo si los datos que posee una organización se comparten más ampliamente para generar valor compartido.
Por ejemplo, una universidad podría poner más datos a disposición de científicos ciudadanos o investigadores externos, un departamento gubernamental podría permitir que otro analice sus datos, o un equipo de una institución financiera altamente regulada podría permitir que otro analice en profundidad sus datos. En resumen, es importante no divulgar datos sin procesar a usuarios menos confiables. Bacalhau se asegura de que los usuarios obtengan los resultados de sus análisis y nada más.
El mismo modelo de cómputo controlado distribuido también permite el aprendizaje federado entre participantes en diferentes organizaciones. Con Bacalhau, las organizaciones independientes pueden realizar análisis en profundidad a partir de datos agregados sin compartir los datos. Con las técnicas de aprendizaje federado, los científicos de datos ahora pueden entrenar modelos de aprendizaje automático o IA en los conjuntos de datos de muchas organizaciones diferentes, independientes o incluso competidoras, sin ceder a esas organizaciones el control de los datos y una visibilidad precisa del uso de los datos.
Por ejemplo, las agencias del gobierno central responsables de formular políticas macroeconómicas pueden usar datos en poder de organizaciones locales. Del mismo modo, los organismos de la industria, como los reguladores de seguros, pueden entrenar modelos enviando trabajos de aprendizaje federado de Bacalhau a todas sus compañías de seguros miembros.
La centralización de los datos en un solo lugar podría dar lugar a la venta o el uso indebido de estos valiosos datos agregados, pero mantener los datos localmente permite que cada aseguradora se asegure de que sus datos se utilicen solo para fines mutuamente acordados de beneficio mutuo.
Cálculo de islas para análisis de temas específicos
Por último, el control detallado sobre la ejecución de trabajos proporcionado por Bacalhau ahora permite a los administradores ser la puerta de entrada a las islas informáticas. En esta estructura, los proveedores informáticos independientes y los propietarios de datos interesados en proporcionar recursos para fines específicos pueden delegar la autorización del trabajo a controladores de confianza.
Por ejemplo, los científicos que colaboran para recopilar datos médicos que podrían ayudar a tratar el cáncer pueden proporcionar datos y cálculos a través de curadores externos en los que confían. El controlador solo acepta trabajos que cumplen con las políticas acordadas, en este caso, trabajos que contribuyen a nuevos tratamientos para el cáncer.
De esta forma, los científicos pueden centrarse en objetivos de bien público más amplios al delegar solicitudes de acceso externo a los controladores. Con el sólido registro de auditoría de Bacalhau, los científicos pueden verificar más tarde que los controladores actuaron de acuerdo con las políticas acordadas.
Bacalhau es el futuro del intercambio de datos
¡Estamos emocionados de lanzar capacidades de gobierno de datos y trabajos en Bacalhau 1.0! Creemos que la computación de datos representa una nueva forma de pensar sobre el intercambio de datos; en resumen, ¡mantener los datos seguros al no compartirlos!
Hoy, estamos trabajando con empresas y agencias gubernamentales que reconocen el potencial de la computación gobernada más allá de los límites de la confianza. Si desea obtener más información sobre cómo estas funciones pueden funcionar para usted, únase a Bacalhau Slack o póngase en contacto con nosotros directamente.
Ver originales
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
Comprender Bacalhau 1.0 en un artículo: Desbloquear el potencial de los datos privados
Fuente original: Red Filecoin
*Este artículo se basa en una presentación de Simon Worthington en la Cumbre de Boston en mayo de 2023. *
Bacalhau revoluciona el panorama del procesamiento de datos al permitir la computación nativa de datos: enviar código para ejecutar análisis donde residen los datos, en lugar de mover datos al código. Al preservar los datos y permitir que se autoricen, auditen y controlen para el cómputo, se pueden usar más datos y reducir el riesgo de uso indebido, que es la respuesta al problema del gobierno de datos. Los volúmenes de datos crecen un 45 % más rápido que el ancho de banda de la red, el 57 % de los datos se almacenan fuera de la nube o de los centros de datos tradicionales, y el movimiento de datos es demasiado lento y costoso para cualquier organización que opere a gran escala.
Hay otra buena razón para mantener los datos localmente: el control. Ya sea a través de regulaciones obligatorias como la Ley de Portabilidad y Responsabilidad de Seguros Médicos (HIPAA) o el Reglamento General de Protección de Datos (GDPR), o protecciones nativas para secretos financieros o corporativos confidenciales, casi el 100% de todos los datos están bajo alguna forma de gobierno. Mover datos a la informática los saca de su zona segura habitual y aumenta el riesgo de uso indebido.
La mayoría de los datos no son estrictamente abiertos o cerrados, sino que existen dentro de un cierto rango. Dentro de este ámbito, se puede otorgar acceso a personas específicas para propósitos específicos.
Fuente: El ODI
Desde 2008, las multas por gobernanza de datos globales han totalizado casi $250 mil millones. Por lo tanto, no sorprende que la mayoría de las empresas teman compartir datos, lo que da como resultado que el 68 % de los datos corporativos queden sin explotar. De hecho, la mayoría de los datos controlados podrían, en principio, compartirse y usarse para una toma de decisiones más efectiva, pero solo con las personas adecuadas y para el propósito correcto.
El intercambio de datos requiere cumplimiento técnico
La mayoría de las organizaciones intentan satisfacer esta necesidad con estrictos acuerdos o contratos de intercambio de datos. La configuración de estos protocolos es costosa y lleva mucho tiempo: para empresas como gobiernos nacionales o instituciones financieras, puede llevar meses pasar por el control de datos para permitir el intercambio de datos entre equipos internos.
Peor aún, estos acuerdos simplemente no funcionan: la mayoría de los acuerdos de intercambio de datos son completamente inaplicables y solo sirven para brindar una falsa sensación de seguridad. Una vez que los datos cruzan el límite de confianza, solo los mecanismos blandos (como confiar en que todos cumplan con el acuerdo) pueden prevenir el abuso. La operación real de compartir datos es invisible para todos y es difícil de supervisar.
Claramente, lo que se necesita es una nueva forma de reutilizar los datos a través de los límites de la confianza: una que brinde a los analistas un acceso simple y controlado a los datos sin arriesgarse a multas reglamentarias y titulares para los propietarios de los datos.
Bacalhau hace que el intercambio de datos sea visible y auditable
En Bacalhau, creemos que la computación nativa de datos es la respuesta a los desafíos del gobierno de datos. Al preservar los datos y permitir que se autoricen, auditen y controlen para el cómputo, se pueden usar más datos y se reduce el riesgo de uso indebido.
Además, dado que Bacalhau es una plataforma informática distribuida, no es necesario trasladar los datos al almacenamiento central. Los datos pueden vivir donde se supone que deben estar en la organización, lo que evita cambios organizativos difíciles y quita el control a los propietarios de los datos.
Estamos orgullosos de anunciar que, como parte de Bacalhau 1.0, hemos agregado capacidades de gobierno de datos y trabajo. Con Bacalhau, los propietarios de datos pueden controlar quién, qué, dónde, por qué y cómo se realizan los cálculos en sus datos privados.
Código de control y salida de Bacalhau
Bacalhau utiliza un enfoque de dos pasos para el control del trabajo. Primero, los propietarios de los datos tienen la oportunidad de verificar que los trabajos cumplan con sus políticas. Esta fase previa al control ocurre antes de que comience a ejecutarse un trabajo y permite que el control apruebe o rechace los cálculos en función de los datos que se utilizarán, quién solicita el trabajo y el código que se ejecutará en el trabajo.
Si bien los humanos siempre tienen el control, no todas las decisiones deben ser tomadas por un humano. El proceso de pre-gobernanza es flexible y se puede automatizar según sea necesario. Los propietarios de datos pueden establecer políticas, inspeccionar en profundidad los próximos cálculos, establecer diferentes políticas para diferentes personas e invocar algoritmos complejos que analizan la seguridad y el riesgo. Cuando un trabajo no es adecuado para el control automático, un ser humano puede tomar la decisión final.
Bacalhau proporciona dos puertas de enlace para la computación: una antes de la computación y otra después de la computación.
Una vez aprobado, Bacalhau envía el trabajo al ejecutor correspondiente, que solo tiene acceso a los datos solicitados y está aislado de forma segura del sistema host. Bacalhau impone restricciones de recursos en los trabajos para controlar la potencia de procesamiento y el uso de la memoria.
Si bien el control previo proporciona una primera línea razonable de defensa de la confianza, en términos generales, decidir qué hará un programa de computadora sin ejecutarlo es difícil y requiere habilidades técnicas. Hemos aprendido de la experiencia que el ONS y otros entornos de investigación controlados relacionados han permitido de forma segura el acceso controlado a los datos durante décadas y los han tomado prestados de sus prácticas en el ámbito digital. Por lo tanto, además de los controles previos a la ejecución, Bacalhau también permite la modificación de los resultados después de la ejecución antes de que se envíen a los remitentes de tareas.
Cuando Bacalhau completa sus cálculos, guarda los resultados en un campo privado de prelanzamiento. Luego, los administradores usan los resultados de la verificación de antecedentes del trabajo para determinar si se esperan esos resultados para el trabajo. Los resultados se pueden descargar si el administrador considera que el contenido es adecuado para compartir. Además, el acceso al área de almacenamiento privado está estrictamente bloqueado y los usuarios solo pueden transmitir los resultados de sus propios trabajos a través de la función de descarga de Bacalhau.
Al igual que con los controles previos, se puede realizar un conjunto completo de análisis complejos sobre los resultados. Con la tecnología Amplify, los propietarios de datos pueden detectar automáticamente información de identificación personal (PII), resumir datos tabulares como CSV y analizar contenido dentro de imágenes y videoclips. Los metadatos generados se pueden utilizar tanto para publicar automáticamente los resultados como para proporcionar información valiosa para la toma de decisiones humanas.
Control para abrir un nuevo aprendizaje conjunto
La computación sobre datos separados por límites de confianza permite el intercambio masivo de datos, pero actualmente no existe una solución técnica segura. Las organizaciones ahora pueden aplicar la moderación de trabajos de Bacalhau y el acceso abierto a los datos sin la necesidad de un gobierno de datos complejo si los datos que posee una organización se comparten más ampliamente para generar valor compartido.
Por ejemplo, una universidad podría poner más datos a disposición de científicos ciudadanos o investigadores externos, un departamento gubernamental podría permitir que otro analice sus datos, o un equipo de una institución financiera altamente regulada podría permitir que otro analice en profundidad sus datos. En resumen, es importante no divulgar datos sin procesar a usuarios menos confiables. Bacalhau se asegura de que los usuarios obtengan los resultados de sus análisis y nada más.
El mismo modelo de cómputo controlado distribuido también permite el aprendizaje federado entre participantes en diferentes organizaciones. Con Bacalhau, las organizaciones independientes pueden realizar análisis en profundidad a partir de datos agregados sin compartir los datos. Con las técnicas de aprendizaje federado, los científicos de datos ahora pueden entrenar modelos de aprendizaje automático o IA en los conjuntos de datos de muchas organizaciones diferentes, independientes o incluso competidoras, sin ceder a esas organizaciones el control de los datos y una visibilidad precisa del uso de los datos.
Por ejemplo, las agencias del gobierno central responsables de formular políticas macroeconómicas pueden usar datos en poder de organizaciones locales. Del mismo modo, los organismos de la industria, como los reguladores de seguros, pueden entrenar modelos enviando trabajos de aprendizaje federado de Bacalhau a todas sus compañías de seguros miembros.
La centralización de los datos en un solo lugar podría dar lugar a la venta o el uso indebido de estos valiosos datos agregados, pero mantener los datos localmente permite que cada aseguradora se asegure de que sus datos se utilicen solo para fines mutuamente acordados de beneficio mutuo.
Cálculo de islas para análisis de temas específicos
Por último, el control detallado sobre la ejecución de trabajos proporcionado por Bacalhau ahora permite a los administradores ser la puerta de entrada a las islas informáticas. En esta estructura, los proveedores informáticos independientes y los propietarios de datos interesados en proporcionar recursos para fines específicos pueden delegar la autorización del trabajo a controladores de confianza.
Por ejemplo, los científicos que colaboran para recopilar datos médicos que podrían ayudar a tratar el cáncer pueden proporcionar datos y cálculos a través de curadores externos en los que confían. El controlador solo acepta trabajos que cumplen con las políticas acordadas, en este caso, trabajos que contribuyen a nuevos tratamientos para el cáncer.
De esta forma, los científicos pueden centrarse en objetivos de bien público más amplios al delegar solicitudes de acceso externo a los controladores. Con el sólido registro de auditoría de Bacalhau, los científicos pueden verificar más tarde que los controladores actuaron de acuerdo con las políticas acordadas.
Bacalhau es el futuro del intercambio de datos
¡Estamos emocionados de lanzar capacidades de gobierno de datos y trabajos en Bacalhau 1.0! Creemos que la computación de datos representa una nueva forma de pensar sobre el intercambio de datos; en resumen, ¡mantener los datos seguros al no compartirlos!
Hoy, estamos trabajando con empresas y agencias gubernamentales que reconocen el potencial de la computación gobernada más allá de los límites de la confianza. Si desea obtener más información sobre cómo estas funciones pueden funcionar para usted, únase a Bacalhau Slack o póngase en contacto con nosotros directamente.