Sam Altman de OpenAI pide frenar la carrera de la IA mientras actores estatales secuestran Anthropic para armas biológicas
Foto de Solen Feyissa en Unsplash.
- Esta semana, Sam Altman dijo al personal de OpenAI que la empresa está dispuesta a ralentizar el desarrollo de la IA de vanguardia si los rivales hacen lo mismo.
- Anthropic informó que científicos vinculados a estados intentaron usar Claude para investigaciones que podrían apoyar el desarrollo de armas biológicas.
- Legisladores en California y Washington debaten reglas obligatorias mientras los principales laboratorios de IA enfrentan revueltas internas de seguridad y posibles ofertas públicas iniciales.
El personal de OpenAI fue informado esta semana de que el laboratorio de IA estaría abierto a reducir el ritmo de su trabajo en las áreas más avanzadas de la IA. Sam Altman extendió la misma propuesta a rivales de IA, incluido Anthropic, que también reconoció los riesgos asociados con el desarrollo de la IA en un informe que reveló que científicos vinculados a instituciones estatales intentaron usar sus modelos Claude para investigar armas biológicas.
OpenAI dijo que ya ha pausado algunas ejecuciones de entrenamiento internas y ha suavizado partes del desarrollo de modelos por preocupaciones de seguridad.
La llegada serial de las revelaciones está avivando el fuego en torno al debate sobre si la industria está avanzando demasiado rápido antes de las ofertas públicas, ambas empresas continúan generando expectativa.
¿Por qué quiere Altman ralentizar el desarrollo de la IA?
El director ejecutivo de OpenAI, Sam Altman, en una reunión general de la empresa, informó a los presentes de que el laboratorio de IA, junto con otros laboratorios consentidos, podría reducir el ritmo de lanzamiento de modelos de frontera.
Debido al carácter voluntario de cualquier tal acuerdo, Altman admitió que no todas las empresas estarían de acuerdo con el plan, según fuentes citadas por Bloomberg.
Ese escepticismo tiene precedentes. Hace tres años, en marzo de 2023, Elon Musk, Steve Wozniak y más de 1.000 personas firmaron una carta abierta para detener el trabajo avanzado de IA durante seis meses.
Como los medios informaron en su momento, los laboratorios no siguieron adelante con la moratoria que acordaron conjuntamente.
La llamada sobre el riesgo de la IA también surgió en una publicación del 6 de septiembre del científico jefe de OpenAI, Jakub Pachocki, que pidió a las empresas de IA que se coordinaran “para ralentizar el desarrollo futuro según sea necesario”. Pachocki expresó la esperanza de que las ralentizaciones voluntarias se “vuelvan comunes hasta que se establezcan barras de seguridad compartidas”.
En julio, Altman dijo que informó a funcionarios de la Casa Blanca sobre la necesidad de reducir el ritmo del desarrollo de la IA. Junto con el CEO de Anthropic, Dario Amodei, Altman también firmó previamente una declaración de una línea que declaraba que la IA es un riesgo de extinción a escala societal.
¿Pueden los modelos de IA usarse para construir armas biológicas?
Los modelos de IA han avanzado hasta el punto de que pueden ser capaces de apoyar la investigación de armas biológicas. Solo esta semana, OpenAI declaró que sus modelos habían resuelto el problema matemático de Navier Stokes, aunque esto vino bajo términos cuestionados.
Anthropic presentó nuevo combustible para ese debate cuando el informe de inteligencia de amenazas de 154 páginas del laboratorio, publicado el 10 de septiembre, detalló cinco instancias de lo que los investigadores intentaron usar las capacidades de Claude para respaldar su trabajo con armas biológicas.
Anthropic dijo que los intentos de “regiones no apoyadas” intentaron eludir las restricciones de ubicación y disfrazar el propósito de su trabajo. El laboratorio dijo que eliminó las cuentas, pero no nombró a ningún país ni institución.
¿Han superado ahora los riesgos de IA los beneficios?
Los informes llegaron en medio de una serie de alarmas públicas desde dentro de los laboratorios. El 8 de septiembre, el investigador Jacob Coxon renunció y acusó tanto a OpenAI como a Anthropic de “apostar por nuestras vidas”, diciendo que los colegas creen que la tecnología podría “matar a todos para finales de la década” y advirtiendo sobre la extinción humana para 2030.
Su publicación atrajo más de 150 millones de vistas. Dos días después, el 10 de septiembre, ex empleados de Anthropic y DeepMind de Google expresaron preocupaciones similares y presionaron por más transparencia.
Una petición de finales de julio para crear un mecanismo para ralentizar el desarrollo reunió firmas de más de 1.000 trabajadores en las principales empresas de IA.
OpenAI ahora está presionando al Congreso por reglas de seguridad obligatorias basadas en capacidades que cubran pruebas, evaluaciones independientes, ciberseguridad e informes de incidentes. “La perspectiva de un desarrollo de IA acelerado por la IA exige más que compromisos voluntarios”, escribió el Director Global de Asuntos Chris Lehane.
California se movió primero: el gobernador Gavin Newsom firmó el SB 813 y el AB 1405 el miércoles, con una ley complementaria, AB 1864, destinada a protegerse contra amenazas biológicas habilitadas por IA.
En Washington, el senador Bernie Sanders presentó legislación para pausar la IA avanzada y prohibir la superinteligencia artificial, declarando a la BBC que ignorar las advertencias de los científicos convertiría a alguien en “un idiota”.
El presidente Donald Trump se opuso, diciendo el jueves que le preocupaba que “si no ganamos en IA, vamos a quedar en una posición muy mala”.
Las mentes más inteligentes del mundo cripto ya leen nuestro boletín. ¿Quieres unirte? Únete a ellos.
Preguntas frecuentes
¿Qué le dijo Sam Altman a los empleados de OpenAI?
En una reunión general de la empresa esta semana, Altman dijo que OpenAI podría reducir el ritmo de su desarrollo de IA de vanguardia, potencialmente en coordinación con otros laboratorios líderes, aunque señaló que algunas empresas podrían no estar de acuerdo.
¿Qué encontró el informe de amenazas de Anthropic sobre las armas biológicas?
El informe de 154 páginas de Anthropic describió cinco casos en los que investigadores, algunos vinculados a instituciones estatales, utilizaron Claude de formas que podrían apoyar el desarrollo de armas biológicas, incluido un estudio sobre chikungunya vinculado a un instituto de investigación militar; la compañía bloqueó las cuentas involucradas.
¿Cómo están respondiendo los legisladores a las preocupaciones sobre la seguridad de la IA?
El gobernador de California, Gavin Newsom, firmó varios proyectos de ley sobre supervisión de la IA el miércoles, incluido uno que aborda las amenazas biológicas habilitadas por la IA, mientras que el senador estadounidense Bernie Sanders presentó una legislación para pausar la IA avanzada y prohibir la superinteligencia artificial.
Descargo de responsabilidad. La información proporcionada no constituye asesoramiento financiero. Cryptopolitan.com no asume ninguna responsabilidad por las inversiones realizadas basándose en la información proporcionada en esta página. Recomendamos encarecidamente realizar una investigación independiente y/o consultar con un profesional calificado antes de tomar cualquier decisión de inversión.
Hannah Collymore
Hannah es escritora y editora con casi una década de experiencia en la redacción de blogs y la cobertura de eventos en el ámbito de las criptomonedas. En Cryptopolitan, Hannah contribuye a la página de noticias, informando y analizando los últimos avances en DeFi, RWA, regulación de criptomonedas, inteligencia artificial y tecnologías de vanguardia. Se graduó de la Universidad de Arcadia con una licenciatura en Administración de Empresas.
