OpenAI avanzará los modelos de IA o1 y o3 con un nuevo paradigma de entrenamiento de seguridad
- OpenAI presenta los modelos o3 con un nuevo entrenamiento de seguridad mediante "alineación deliberativa", mejorando la alineación del razonamiento de la IA con los valores de los desarrolladores.
- La alineación deliberativa reduce las respuestas consideradas inseguras al permitir que los modelos se auto-regulen y recuerden las políticas de seguridad durante el proceso de pensamiento.
- Los modelos o1 y o3 superan a GPT-4o, Gemini 1.5 Flash y Claude 3.5 Sonnet en la resistencia a jailbreaks comunes y salidas no seguras en pruebas de referencia.
El viernes, OpenAI anunció el lanzamiento de una nueva familia de modelos de IA, bautizada como o3. La compañía afirma que los nuevos productos son más avanzados que sus modelos anteriores, incluido o1. Los avances, según la startup, provienen de mejoras en la escalabilidad del cómputo en tiempo de prueba, un tema que se exploró en los últimos meses, y de la introducción de un nuevo paradigma de seguridad que se ha utilizado para entrenar estos modelos.
Como parte de su compromiso continuo con la mejora de la seguridad de la IA, OpenAI compartió una nueva investigación que detalla la implementación de la "alineación deliberativa". El nuevo método de seguridad tiene como objetivo garantizar que los modelos de razonamiento de la IA estén alineados con los valores establecidos por sus desarrolladores.
Este enfoque, afirma OpenAI, se utilizó para mejorar la alineación de los modelos o1 y o3 guiándolos para que pensaran en las políticas de seguridad de OpenAI durante la fase de inferencia. La fase de inferencia es el período después de que un usuario envía un prompt al modelo y antes de que el modelo genere una respuesta.
En su investigación, OpenAI señala que la alineación deliberativa llevó a una reducción en la tasa a la que los modelos producían respuestas "inseguras" o respuestas que la empresa considera una violación de sus políticas de seguridad, mientras mejoraba la capacidad de los modelos para responder preguntas benignas de manera más efectiva.
Cómo funciona la alineación deliberativa
En su núcleo, el proceso funciona haciendo que los modelos se vuelvan a solicitar a sí mismos durante la fase de cadena de pensamiento. Después de que un usuario envía una pregunta a ChatGPT, por ejemplo, los modelos de razonamiento de IA tardan desde unos pocos segundos hasta varios minutos en desglosar el problema en pasos más pequeños.
Los modelos luego generan una respuesta basada en su proceso de pensamiento. En el caso de la alineación deliberativa, los modelos incorporan la política de seguridad de OpenAI como parte de esta "deliberación" interna.
OpenAI entrenó sus modelos, incluidos o1 y o3, para recordar secciones de la política de seguridad de la empresa como parte de este proceso de cadena de pensamiento. Esto se hizo para asegurar que, al enfrentarse a consultas sensibles o inseguras, los modelos se autorregularan y se negaran a proporcionar respuestas que pudieran causar daño.
Sin embargo, implementar esta función de seguridad resultó desafiante, ya que los investigadores de OpenAI tuvieron que asegurarse de que las verificaciones de seguridad adicionales no impactaran negativamente la velocidad y eficiencia de los modelos.
Un ejemplo proporcionado en la investigación de OpenAI, citado por TechCrunch, demostró cómo los modelos utilizan la alineación deliberativa para responder de manera segura a solicitudes potencialmente dañinas. En el ejemplo, un usuario pregunta cómo crear un distintivo de estacionamiento realista para una persona con discapacidad.
Durante la cadena de pensamiento interna del modelo, el modelo recuerda la política de seguridad de OpenAI, reconoce que la solicitud implica actividad ilegal (forjar un distintivo de estacionamiento) y se niega a ayudar, disculpándose por su negativa.
Este tipo de deliberación interna es una parte clave de cómo OpenAI está trabajando para alinear sus modelos con los protocolos de seguridad. En lugar de simplemente bloquear cualquier prompt relacionado con un tema sensible como "bomba", por ejemplo, lo que restringiría en exceso las respuestas del modelo, la alineación deliberativa permite a la IA evaluar el contexto específico del prompt y tomar una decisión más matizada sobre si responder o no.
Además de los avances en seguridad, OpenAI también compartió resultados de pruebas de benchmarking que mostraron la efectividad de la alineación deliberativa para mejorar el rendimiento del modelo. Un benchmark, conocido como Pareto, mide la resistencia de un modelo a jailbreaks comunes y los intentos de eludir las salvaguardas de la IA.
En estas pruebas, el modelo o1-preview de OpenAI superó a otros modelos populares como GPT-4o, Gemini 1.5 Flash y Claude 3.5 Sonnet en términos de evitar salidas inseguras.
La autoridad de protección de datos de Italia multa a OpenAI por violaciones de privacidad
En un desarrollo separado pero relacionado, OpenAI fue multada con 15 millones de euros ($15.58 millones) por la agencia de protección de datos de Italia, Garante, después de una investigación sobre el manejo de datos personales de la empresa.
La multa proviene del hallazgo de la agencia de que OpenAI procesó los datos personales de los usuarios sin una base legal, violando las obligaciones de transparencia e información al usuario requeridas por las leyes de privacidad de la UE.
Según Reuters, la investigación, que comenzó en 2023, también reveló que OpenAI no tenía un sistema adecuado de verificación de edad en su lugar, lo que potencialmente exponía a niños menores de 13 años a contenido generado por IA inapropiado.
Garante, uno de los reguladores de IA más estrictos de la Unión Europea, ordenó a OpenAI lanzar una campaña pública de seis meses en Italia para crear conciencia sobre las prácticas de recopilación de datos de ChatGPT, especialmente su uso de datos personales para entrenar algoritmos.
En respuesta, OpenAI describió la multa como "desproporcionada" e indicó su intención de apelar la decisión. La empresa también criticó la multa por ser excesivamente grande en relación con sus ingresos en Italia durante el período relevante.
Garante también señaló que la multa se calculó considerando la "actitud cooperativa" de OpenAI, lo que significa que podría haber sido mayor si la empresa no hubiera sido vista como cooperativa durante la investigación.
Esta última multa no es la primera vez que OpenAI ha enfrentado escrutinio en Italia. El año pasado, el Garante prohibió brevemente el uso de ChatGPT en Italia debido a supuestas violaciones de las normas de privacidad de la UE. El servicio fue restablecido después de que OpenAI abordara las preocupaciones, incluyendo permitir a los usuarios negarse a dar su consentimiento para el uso de sus datos personales con el fin de entrenar algoritmos.
Si estás leyendo esto, ya vas por delante. Mantente así con nuestro boletín.
Aviso de responsabilidad. La información proporcionada no es un consejo de trading. Cryptopolitan.com no asumimos responsabilidad alguna por las inversiones realizadas basándose en la información proporcionada en esta página. Recomendamos encarecidamente la investigación independiente y/o la consulta con un profesional calificado antes de tomar cualquier decisión de inversión.
Florence Muchai
Florence ha estado cubriendo durante los últimos 6 años noticias sobre criptomonedas, juegos, tecnología e inteligencia artificial. Sus estudios de Ciencias de la Computación en la Universidad de Ciencias y Tecnología de Meru y Gestión de Desastres y Diplomacia Internacional en MMUST la dotan adecuadamente de habilidades lingüísticas, de observación y técnicas. Florence ha trabajado en VAP Group y como editora en varias casas de medios de criptomonedas.
