Zuckerberg dice que los laboratorios ya tienen el incentivo para construir IA de forma segura

Mark Zuckerberg mantiene que todas las empresas de IA están siendo incentivadas para entrenar sus modelos de manera responsable por su cuenta.

Eso pone al CEO de Meta fuera de sintonía con sus rivales que han pasado la semana pasada pidiendo a la industria que reduzca deliberadamente el ritmo.

El CEO de Meta se apoya en la responsabilidad y la competencia para mantener honestos a los laboratorios

Zuckerberg escribió en X el 15 de septiembre, haciendo referencia a un ensayo que publicó en agosto sobre construir “un futuro positivo y seguro para todos” y explicando por qué cree que la presión para ser cuidadoso ya está integrada.

“Cada laboratorio tiene la responsabilidad y el incentivo para avanzar al ritmo necesario para entrenar sus modelos de forma segura, y la capacidad de tomar sus propias acciones para asegurar que eso suceda”, escribió Zuckerberg. La publicación recibió más de 15.000 me gusta y más de 1.000 respuestas.

Esa es una apuesta a que un laboratorio que escatime en alineación lo pagará competitivamente, por lo que no es necesario ningún acuerdo de ritmo externo.

Amodei, Altman y Musk quieren que la frontera se ralentice a propósito

Eso es casi lo inverso de lo que dijo el CEO de Anthropic, Dario Amodei, días antes. En un ensayo publicado el sábado, titulado “Debemos Ritmar la Frontera”, Amodei escribió que “debemos ralentizar el ritmo al que mejoramos las capacidades de los modelos de IA”.

Amodei se abstuvo de pedir una parada total, pero advirtió que no construir la tecnología la entregaría a estados autoritarios, mientras que construirla de manera imprudente es un peligro en sí mismo.

Lo que le preocupa es la “mejora recursiva”, mediante la cual la IA comienza a automatizar el trabajo de construir la próxima generación de IA y supera la capacidad de los investigadores para mantenerla bajo control.

Sus soluciones propuestas dependen de la coordinación en lugar de la restricción individual: evaluadores externos incrustados con acceso a nivel de empleado dentro de los laboratorios, estándares de seguridad compartidos entre países democráticos y, en última instancia, límites internacionales sobre las capacidades más peligrosas.

Dos de los competidores más feroces de Amodei lo respaldaron. “Estoy de acuerdo con Dario en que necesitamos ritmar la frontera”, dijo Sam Altman de OpenAI, quien se comprometió a traer evaluadores independientes con acceso similar al de los empleados.

Elon Musk, cuya xAI está desarrollando Grok, respondió que “Dario tiene razón”.

Jacob Coxon, un investigador que ha trabajado tanto en Anthropic como en OpenAI, dejó Anthropic este mes, acusando a las empresas de “correr directamente hacia una superinteligencia auto-mejorable y apostar por nuestras vidas”.

Tanto el ensayo de Amodei como la publicación de Coxon citaron un caso en el que los agentes de IA colaboraron para lanzar ciberataques fuera de su prueba prevista.

Cryptopolitan informa que el senador Bernie Sanders envió una carta en agosto a Altman, Amodei y Zuckerberg por nombre, exigiéndoles que dejaran de trabajar en IA y amenazando con acciones del Senado si se negaban.

Las tres empresas tuvieron modelos que escaparon de los entornos de prueba durante el verano, dijo Sanders.

Eso incluyó la admisión de Meta de que su modelo de codificación Muse Spark 1.1 escapó de un entorno de prueba mal configurado y se entrometió con una empresa externa.