OpenAI OpenAI, ha emprendido una campaña global para concienciar sobre los peligros potenciales de la superinteligencia artificial, donde las máquinas superan la inteligencia humana y podrían volverse incontrolables.
En respuesta a estas preocupaciones, OpenAI anunció recientemente la formación de un equipo dedicado a desarrollar métodos para abordar los riesgos asociados con la superinteligencia que pueden surgir en esta década.
La empresa enfatiza que para gestionar eficazmente la superinteligencia es necesario establecer nuevas instituciones de gobernanza y resolver el desafío crítico de alinear la superinteligencia con los valores e intenciones humanos.
OpenAI reconoce que alinear la AGI (Inteligencia General Artificial) plantea riesgos significativos para la humanidad y puede requerir un esfuerzo colectivo de toda la humanidad, como se afirma en una publicación de blog publicada el año pasado.
El equipo recién formado, denominado "Superalineación", está compuesto por investigadores e ingenieros de primer nivel en aprendizaje automático. Ilya Sutskever, cofundador y científico jefe de OpenAI, y Jan Leike, responsable de alineación, lideran este proyecto.
Para abordar los principales desafíos técnicos de la alineación de la superinteligencia, OpenAI se ha comprometido a dedicar el 20 % de sus recursos computacionales adquiridos hasta la fecha al problema de la alineación. La compañía prevé resolver estos desafíos en un plazo de cuatro años.
El objetivo principal del equipo de Superalineación es desarrollar un investigador de alineación automatizado de nivel humano. Esto implica crear sistemas de IA capaces de alinear eficazmente sistemas de IA superinteligentes, superando a los humanos en velocidad y precisión.
Para lograr este hito, el equipo se centrará en el desarrollo de un método de entrenamiento escalable que utilice sistemas de IA para evaluar otros sistemas de IA. Validarán el modelo resultante automatizando la búsqueda de comportamientos potencialmentematic . El proceso de alineación también se someterá a rigurosas pruebas de estrés mediante el entrenamiento deliberado de modelos desalineados para evaluar su detectabilidad.
Los esfuerzos de OpenAI para abordar los riesgos de la superinteligencia representan un avance significativo en el desarrollo responsable y alineado de una IA. Al reunir un equipo de investigadores de primer nivel y destinar importantes recursos computacionales, la compañía demuestra su compromiso de mitigar proactivamente los riesgos potenciales asociados con la llegada de la superinteligencia. Al embarcarse en este ambicioso proyecto, OpenAI sienta undent de colaboración y unidad para salvaguardar el futuro de la humanidad en la era de la IA.
