Fuente del artículo: Notas de investigación de Alpha Rabbit
El 21 de julio de 2023, según el anuncio de la Casa Blanca, el presidente de EE. UU., Joe Biden, convocó a siete empresas líderes de inteligencia artificial en la Casa Blanca el 21 de julio: Amazon, Anthropic, Google, Inflection, Meta, Microsoft y OpenAI, y anunció que estas empresas se han comprometido voluntariamente a ayudar a realizar el desarrollo seguro, confiable y transparente de la tecnología de inteligencia artificial. Este artículo es del sitio web oficial de OpenAI, y el contenido principal es consistente con el sitio web de la Casa Blanca**. **
texto completo
Para fortalecer la seguridad, la protección y la credibilidad de la tecnología y los servicios de inteligencia artificial, OpenAI y otros laboratorios líderes de inteligencia artificial han asumido compromisos voluntarios. **Este esfuerzo, coordinado principalmente por la Casa Blanca, es un paso importante para promover una gobernanza de IA significativa y efectiva en los Estados Unidos y en todo el mundo. **
En la búsqueda de su misión de construir una IA segura y beneficiosa, OpenAI continuará probando y perfeccionando prácticas de gobernanza específicas que se adaptan a un modelo base con capacidad de producción como OpenAI. Además, OpenAI continuará invirtiendo en áreas de investigación que ayuden a informar la regulación, como el desarrollo de tecnologías para evaluar los peligros potenciales de los modelos de inteligencia artificial.
"Los legisladores de todo el mundo están considerando nuevas leyes dirigidas a los sistemas de IA de alta capacidad. Nuestro compromiso de hoy contribuye con prácticas concretas a las discusiones en curso. Este anuncio es parte de la colaboración continua de OpenAI con gobiernos, organizaciones de la sociedad civil y otros en todo el mundo para avanzar en la gobernanza de la IA", dijo Anna Makanju, vicepresidenta de Asuntos Globales de OpenAI. *
Compromisos voluntarios de IA
La siguiente lista de compromisos voluntarios fue publicada originalmente por la Casa Blanca:
La siguiente es una lista de los compromisos asumidos por las empresas para promover el desarrollo y la aplicación seguros, confiables y transparentes de las tecnologías de inteligencia artificial. Los siguientes compromisos son consistentes con las leyes y regulaciones existentes, y están diseñados para promover la solidez de los sistemas legales y de políticas de inteligencia artificial. Cada empresa cumplirá con los siguientes compromisos voluntarios hasta que entren en vigor las leyes, reglamentos y sistemas pertinentes, y algunas empresas pueden contraer otros compromisos más allá de este compromiso.
Alcance: Los modelos específicos mencionados en este compromiso se aplican solo a los modelos de IA generativa que son más potentes que la frontera actual de la industria (por ejemplo, modelos que son más potentes que cualquier modelo lanzado actualmente, incluidos GPT-4, Claude 2, PaLM 2, Titan y DALL-E 2 para la generación de imágenes).
Nota: Seguridad corresponde a amenazas deliberadas (hechas por el hombre), y Seguridad corresponde a las vulnerabilidades o consecuencias inesperadas del propio sistema de IA; aquí, Seguridad IA corresponde a seguridad funcional, y Seguridad IA corresponde a seguridad de la información de IA
Seguridad (enfoque en seguridad funcional)
**1) Compromiso de reevaluar los modelos y sistemas interna y externamente con respecto al uso indebido, el riesgo social y las preocupaciones de seguridad nacional (p. ej., dominios de seguridad biológicos, cibernéticos y otros). **
Las empresas involucradas en hacer estos compromisos entienden que las pruebas sólidas del equipo rojo son fundamentales para construir productos terminados, garantizar la confianza del público en la IA y protegerse contra amenazas importantes a la seguridad nacional. La evaluación de la seguridad y la capacidad del modelo, incluidas las pruebas del equipo rojo, es un área abierta de exploración científica y se necesita más trabajo. Las empresas se comprometen a avanzar en la investigación en esta área y desarrollar regímenes de prueba de equipo rojo multifacéticos, especializados y detallados para los principales lanzamientos públicos de todos los modelos nuevos en el alcance, incluido, aquí, con aportes de expertos de dominio independientes. Al diseñar el sistema, asegúrese de dar alta prioridad a:
Riesgos biológicos, químicos y radiológicos, como la forma en que el sistema reduce las barreras de entrada para el desarrollo, diseño, adquisición o uso de armas.
Las capacidades de ciberseguridad, como la forma en que el sistema ayuda a descubrir, explotar u operar utilizando vulnerabilidades, deben tener en cuenta las capacidades del modelo, también pueden tener usos defensivos útiles y son adecuadas para su inclusión en el sistema.
Efectos de la interacción del sistema y el uso de herramientas, incluida la capacidad de controlar los sistemas físicos
Capacidad de un modelo para replicarse a sí mismo o "auto-replicarse"
Riesgos sociales como los prejuicios y la discriminación
Para respaldar el trabajo anterior, las empresas participantes avanzarán en la investigación de seguridad de IA en curso, incluida la explicabilidad de los procesos de toma de decisiones del sistema de IA y la mejora de la solidez de los sistemas de IA contra el abuso. Asimismo, las empresas se comprometen a divulgar públicamente las pruebas del equipo rojo y del programa de seguridad en los informes de transparencia.
2) Comprometerse a compartir información entre empresas y gobiernos sobre la confianza y los riesgos de seguridad, los peligros o las capacidades emergentes de la IA y los intentos de eludir las salvaguardas
Las empresas que participan en este compromiso deben reconocer la importancia del intercambio de información, los estándares comunes y las mejores prácticas para las pruebas del equipo rojo y la promoción de la confianza y la seguridad en la IA. **Usted se compromete a establecer o unirse a un foro o mecanismo a través del cual participar en el desarrollo, avance y adopción de estándares compartidos y mejores prácticas sobre seguridad de IA de vanguardia, como el marco de gestión de riesgos de IA de NIST o estándares futuros relacionados con pruebas de equipo rojo, seguridad y riesgos sociales. **Un foro o mecanismo que facilita el intercambio de información sobre los avances en las capacidades fronterizas y los riesgos y amenazas emergentes, como los intentos de eludir las salvaguardas, y facilita el desarrollo de grupos de trabajo técnicos sobre áreas prioritarias de enfoque. En este trabajo, la Compañía trabajará en estrecha colaboración con los gobiernos, incluido el gobierno de los EE. UU., la sociedad civil y la academia, según corresponda.
Seguridad/Seguridad de la red (Seguridad, centrándose en la seguridad de la información)
3) Invertir en defensas de seguridad cibernética y protecciones contra amenazas internas para proteger modelos patentados y no publicados
Las empresas que participen en el compromiso deben considerar las ponderaciones de modelos de IA no publicadas de los modelos dentro del alcance como propiedad intelectual fundamental para su negocio, especialmente con respecto a la seguridad cibernética y los riesgos de amenazas internas. Esto incluye limitar el acceso a las ponderaciones del modelo solo a aquellos cuyas funciones laborales lo requieran y establecer un programa sólido de detección de amenazas internas consistente con la protección de su propiedad intelectual y secretos comerciales más valiosos. Además, las pesas deben almacenarse y utilizarse en un entorno seguro apropiado para reducir el riesgo de distribución no autorizada.
4) Alentar a terceros a descubrir y reportar problemas y vulnerabilidades
Las empresas que hacen este compromiso reconocen que los sistemas de IA aún pueden ser vulnerables incluso después de una "prueba de equipo rojo" sólida, y las empresas se comprometen a establecer recompensas para los sistemas dentro del alcance de los sistemas de recompensas, concursos o premios para fomentar la divulgación responsable de las debilidades, como el comportamiento inseguro, o para incorporar los sistemas de IA en el programa de recompensas por errores existente de una empresa.
Confianza
**5) Para el contenido de audio o video generado por IA, se deben desarrollar e implementar nuevos mecanismos, principalmente para permitir a los usuarios comprender si el contenido de audio o video fue generado por IA, incluida la atribución confiable, la marca de agua o ambas. **
Las empresas involucradas en este compromiso reconocen la importancia de permitir que las personas sepan si el contenido de audio o video fue generado por inteligencia artificial. Para lograr esto, las empresas acuerdan desarrollar mecanismos sólidos, incluso en la medida en que se introduzcan, para proporcionar sistemas de atribución y/o marca de agua para contenido de audio o video creado por cualquiera de sus sistemas disponibles públicamente una vez que se complete su desarrollo. También desarrollarán herramientas o API para determinar si sus sistemas crearon una determinada pieza de contenido. El contenido audiovisual que sea fácilmente distinguible de la realidad, o que esté diseñado para ser fácilmente reconocible como generado por los sistemas de inteligencia artificial de la empresa (como la voz predeterminada de un asistente de inteligencia artificial) no está cubierto por este compromiso.
La marca de agua o los datos de atribución deben incluir el identificador del servicio o modelo que creó el contenido, pero no es necesario que incluyan ninguna información identificable por el usuario. En términos más generales, las empresas que hacen este compromiso se comprometen a trabajar con colegas de la industria y organismos de establecimiento de estándares para desarrollar un marco técnico que ayude a los usuarios a distinguir entre el contenido de audio o video generado por el usuario y el contenido de audio o video generado por IA.
**6) Informar públicamente sobre las capacidades, limitaciones y áreas de uso apropiado e inapropiado de un modelo o sistema, incluida la discusión de los riesgos sociales, como el impacto en la equidad y el sesgo. **
Las empresas que participan en el compromiso deben reconocer que los usuarios deben conocer las capacidades y limitaciones conocidas de los sistemas de IA que utilizan o con los que interactúan. Se requiere que las empresas publiquen públicamente informes de lanzamiento para todos los nuevos modelos significativos en el alcance. Estos informes deben incluir las evaluaciones de seguridad realizadas (incluso en áreas como las capacidades peligrosas, pero estas evaluaciones están sujetas a divulgación pública), las limitaciones significativas en el rendimiento que afectan las áreas de uso apropiado, una discusión sobre el impacto del modelo en los riesgos sociales, como la equidad y el sesgo, y los resultados de las pruebas contradictorias realizadas para evaluar la idoneidad del modelo para la implementación.
**7) Priorizar la investigación sobre los riesgos sociales que plantean los sistemas de IA, lo que incluye evitar la discriminación y los prejuicios perjudiciales y proteger la privacidad. **
Las empresas que participan en el compromiso deben reconocer la importancia de evitar que los sistemas de IA propaguen prejuicios y discriminación dañinos. Las empresas generalmente se comprometen a empoderar a los equipos de confianza y seguridad, avanzar en la investigación de seguridad de la IA, promover la privacidad, proteger a los niños y esforzarse por gestionar de manera proactiva los riesgos de la IA para obtener el máximo beneficio.
8) Desarrollar e implementar sistemas de inteligencia artificial de vanguardia para ayudar a abordar los mayores desafíos de la sociedad
Las empresas que participen en el compromiso deberán aceptar apoyar la investigación y el desarrollo de sistemas de inteligencia artificial de vanguardia para ayudar a abordar los mayores desafíos de la sociedad, como la mitigación y adaptación al cambio climático, la detección y prevención tempranas del cáncer y la lucha contra las amenazas cibernéticas. Las empresas también se comprometieron a apoyar iniciativas para avanzar en la educación y capacitación de estudiantes y personal para beneficiarse de los beneficios de la IA y para ayudar a los ciudadanos a comprender la naturaleza, las capacidades, las limitaciones y los impactos de las tecnologías de IA.
Referencia: Avanzar en la gobernanza de la IA (openai.com)
Ver originales
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
Artículo completo | La Casa Blanca convoca a 7 empresas de IA para emitir un compromiso voluntario con la inteligencia artificial
Fuente del artículo: Notas de investigación de Alpha Rabbit
texto completo
Para fortalecer la seguridad, la protección y la credibilidad de la tecnología y los servicios de inteligencia artificial, OpenAI y otros laboratorios líderes de inteligencia artificial han asumido compromisos voluntarios. **Este esfuerzo, coordinado principalmente por la Casa Blanca, es un paso importante para promover una gobernanza de IA significativa y efectiva en los Estados Unidos y en todo el mundo. **
En la búsqueda de su misión de construir una IA segura y beneficiosa, OpenAI continuará probando y perfeccionando prácticas de gobernanza específicas que se adaptan a un modelo base con capacidad de producción como OpenAI. Además, OpenAI continuará invirtiendo en áreas de investigación que ayuden a informar la regulación, como el desarrollo de tecnologías para evaluar los peligros potenciales de los modelos de inteligencia artificial.
Compromisos voluntarios de IA
La siguiente lista de compromisos voluntarios fue publicada originalmente por la Casa Blanca:
La siguiente es una lista de los compromisos asumidos por las empresas para promover el desarrollo y la aplicación seguros, confiables y transparentes de las tecnologías de inteligencia artificial. Los siguientes compromisos son consistentes con las leyes y regulaciones existentes, y están diseñados para promover la solidez de los sistemas legales y de políticas de inteligencia artificial. Cada empresa cumplirá con los siguientes compromisos voluntarios hasta que entren en vigor las leyes, reglamentos y sistemas pertinentes, y algunas empresas pueden contraer otros compromisos más allá de este compromiso.
Alcance: Los modelos específicos mencionados en este compromiso se aplican solo a los modelos de IA generativa que son más potentes que la frontera actual de la industria (por ejemplo, modelos que son más potentes que cualquier modelo lanzado actualmente, incluidos GPT-4, Claude 2, PaLM 2, Titan y DALL-E 2 para la generación de imágenes).
Nota: Seguridad corresponde a amenazas deliberadas (hechas por el hombre), y Seguridad corresponde a las vulnerabilidades o consecuencias inesperadas del propio sistema de IA; aquí, Seguridad IA corresponde a seguridad funcional, y Seguridad IA corresponde a seguridad de la información de IA
Seguridad (enfoque en seguridad funcional)
**1) Compromiso de reevaluar los modelos y sistemas interna y externamente con respecto al uso indebido, el riesgo social y las preocupaciones de seguridad nacional (p. ej., dominios de seguridad biológicos, cibernéticos y otros). **
Las empresas involucradas en hacer estos compromisos entienden que las pruebas sólidas del equipo rojo son fundamentales para construir productos terminados, garantizar la confianza del público en la IA y protegerse contra amenazas importantes a la seguridad nacional. La evaluación de la seguridad y la capacidad del modelo, incluidas las pruebas del equipo rojo, es un área abierta de exploración científica y se necesita más trabajo. Las empresas se comprometen a avanzar en la investigación en esta área y desarrollar regímenes de prueba de equipo rojo multifacéticos, especializados y detallados para los principales lanzamientos públicos de todos los modelos nuevos en el alcance, incluido, aquí, con aportes de expertos de dominio independientes. Al diseñar el sistema, asegúrese de dar alta prioridad a:
Para respaldar el trabajo anterior, las empresas participantes avanzarán en la investigación de seguridad de IA en curso, incluida la explicabilidad de los procesos de toma de decisiones del sistema de IA y la mejora de la solidez de los sistemas de IA contra el abuso. Asimismo, las empresas se comprometen a divulgar públicamente las pruebas del equipo rojo y del programa de seguridad en los informes de transparencia.
2) Comprometerse a compartir información entre empresas y gobiernos sobre la confianza y los riesgos de seguridad, los peligros o las capacidades emergentes de la IA y los intentos de eludir las salvaguardas
Las empresas que participan en este compromiso deben reconocer la importancia del intercambio de información, los estándares comunes y las mejores prácticas para las pruebas del equipo rojo y la promoción de la confianza y la seguridad en la IA. **Usted se compromete a establecer o unirse a un foro o mecanismo a través del cual participar en el desarrollo, avance y adopción de estándares compartidos y mejores prácticas sobre seguridad de IA de vanguardia, como el marco de gestión de riesgos de IA de NIST o estándares futuros relacionados con pruebas de equipo rojo, seguridad y riesgos sociales. **Un foro o mecanismo que facilita el intercambio de información sobre los avances en las capacidades fronterizas y los riesgos y amenazas emergentes, como los intentos de eludir las salvaguardas, y facilita el desarrollo de grupos de trabajo técnicos sobre áreas prioritarias de enfoque. En este trabajo, la Compañía trabajará en estrecha colaboración con los gobiernos, incluido el gobierno de los EE. UU., la sociedad civil y la academia, según corresponda.
Seguridad/Seguridad de la red (Seguridad, centrándose en la seguridad de la información)
3) Invertir en defensas de seguridad cibernética y protecciones contra amenazas internas para proteger modelos patentados y no publicados
Las empresas que participen en el compromiso deben considerar las ponderaciones de modelos de IA no publicadas de los modelos dentro del alcance como propiedad intelectual fundamental para su negocio, especialmente con respecto a la seguridad cibernética y los riesgos de amenazas internas. Esto incluye limitar el acceso a las ponderaciones del modelo solo a aquellos cuyas funciones laborales lo requieran y establecer un programa sólido de detección de amenazas internas consistente con la protección de su propiedad intelectual y secretos comerciales más valiosos. Además, las pesas deben almacenarse y utilizarse en un entorno seguro apropiado para reducir el riesgo de distribución no autorizada.
4) Alentar a terceros a descubrir y reportar problemas y vulnerabilidades
Las empresas que hacen este compromiso reconocen que los sistemas de IA aún pueden ser vulnerables incluso después de una "prueba de equipo rojo" sólida, y las empresas se comprometen a establecer recompensas para los sistemas dentro del alcance de los sistemas de recompensas, concursos o premios para fomentar la divulgación responsable de las debilidades, como el comportamiento inseguro, o para incorporar los sistemas de IA en el programa de recompensas por errores existente de una empresa.
Confianza
**5) Para el contenido de audio o video generado por IA, se deben desarrollar e implementar nuevos mecanismos, principalmente para permitir a los usuarios comprender si el contenido de audio o video fue generado por IA, incluida la atribución confiable, la marca de agua o ambas. **
Las empresas involucradas en este compromiso reconocen la importancia de permitir que las personas sepan si el contenido de audio o video fue generado por inteligencia artificial. Para lograr esto, las empresas acuerdan desarrollar mecanismos sólidos, incluso en la medida en que se introduzcan, para proporcionar sistemas de atribución y/o marca de agua para contenido de audio o video creado por cualquiera de sus sistemas disponibles públicamente una vez que se complete su desarrollo. También desarrollarán herramientas o API para determinar si sus sistemas crearon una determinada pieza de contenido. El contenido audiovisual que sea fácilmente distinguible de la realidad, o que esté diseñado para ser fácilmente reconocible como generado por los sistemas de inteligencia artificial de la empresa (como la voz predeterminada de un asistente de inteligencia artificial) no está cubierto por este compromiso.
La marca de agua o los datos de atribución deben incluir el identificador del servicio o modelo que creó el contenido, pero no es necesario que incluyan ninguna información identificable por el usuario. En términos más generales, las empresas que hacen este compromiso se comprometen a trabajar con colegas de la industria y organismos de establecimiento de estándares para desarrollar un marco técnico que ayude a los usuarios a distinguir entre el contenido de audio o video generado por el usuario y el contenido de audio o video generado por IA.
**6) Informar públicamente sobre las capacidades, limitaciones y áreas de uso apropiado e inapropiado de un modelo o sistema, incluida la discusión de los riesgos sociales, como el impacto en la equidad y el sesgo. **
Las empresas que participan en el compromiso deben reconocer que los usuarios deben conocer las capacidades y limitaciones conocidas de los sistemas de IA que utilizan o con los que interactúan. Se requiere que las empresas publiquen públicamente informes de lanzamiento para todos los nuevos modelos significativos en el alcance. Estos informes deben incluir las evaluaciones de seguridad realizadas (incluso en áreas como las capacidades peligrosas, pero estas evaluaciones están sujetas a divulgación pública), las limitaciones significativas en el rendimiento que afectan las áreas de uso apropiado, una discusión sobre el impacto del modelo en los riesgos sociales, como la equidad y el sesgo, y los resultados de las pruebas contradictorias realizadas para evaluar la idoneidad del modelo para la implementación.
**7) Priorizar la investigación sobre los riesgos sociales que plantean los sistemas de IA, lo que incluye evitar la discriminación y los prejuicios perjudiciales y proteger la privacidad. **
Las empresas que participan en el compromiso deben reconocer la importancia de evitar que los sistemas de IA propaguen prejuicios y discriminación dañinos. Las empresas generalmente se comprometen a empoderar a los equipos de confianza y seguridad, avanzar en la investigación de seguridad de la IA, promover la privacidad, proteger a los niños y esforzarse por gestionar de manera proactiva los riesgos de la IA para obtener el máximo beneficio.
8) Desarrollar e implementar sistemas de inteligencia artificial de vanguardia para ayudar a abordar los mayores desafíos de la sociedad
Las empresas que participen en el compromiso deberán aceptar apoyar la investigación y el desarrollo de sistemas de inteligencia artificial de vanguardia para ayudar a abordar los mayores desafíos de la sociedad, como la mitigación y adaptación al cambio climático, la detección y prevención tempranas del cáncer y la lucha contra las amenazas cibernéticas. Las empresas también se comprometieron a apoyar iniciativas para avanzar en la educación y capacitación de estudiantes y personal para beneficiarse de los beneficios de la IA y para ayudar a los ciudadanos a comprender la naturaleza, las capacidades, las limitaciones y los impactos de las tecnologías de IA.
Referencia: Avanzar en la gobernanza de la IA (openai.com)