Los gigantes tecnológicos de Silicon Valley dejan de lado la seguridad de la IA para obtener ganancias de productos

Silicon Valley era donde los expertos mundiales en inteligencia artificial iban a realizar investigaciones innovadoras, pero los expertos advierten que las cosas han cambiado, y ahora la IA se trata todo sobre el producto. Los investigadores y expertos en IA también creen que desde que OpenAI lanzó ChatGPT a finales de 2022, la industria tecnológica ha priorizado la comercialización sobre la investigación al construir productos de IA listos para el consumidor.

Analistas de Morgan Stanley predicho que la industria de la IA tiene el potencial de alcanzar $1 billón en ingresos anuales para 2028. Los expertos de la industria dicen que están preocupados por la seguridad mientras los jugadores principales persiguen la inteligencia general artificial (AGI).

La investigación de IA vuelve a los beneficios a medida que Silicon Valley prioriza los productos sobre la seguridad

Geoffrey Hinton dice que las empresas de IA deberían ser obligadas a usar un tercio de sus recursos de computación en investigación de seguridad porque la IA se volverá más inteligente que nosotros en los próximos 20 años y necesitamos empezar a preocuparnos por lo que sucederá entonces pic.twitter.com/ocT3Scmyxg

— Tsarathustra (@tsarnick) octubre 25, 2024

OpenAI, fundada como un laboratorio de investigación sin fines de lucro en 2015, ahora está en medio de un esfuerzo para transformarse en una entidad con fines de lucro, según su CEO, Sam Altman. Jan Leike, ex jefe de alineación de OpenAI, cuyo equipo se centró en la seguridad de la IA, renunció el año pasado y dijo que en los últimos años, “la cultura y los procesos de seguridad han quedado relegados a un segundo plano frente a los productos brillantes.”

James White, director de tecnología de la startup de ciberseguridad Calypso, argumentó que las empresas tecnológicas están tomando cada vez más atajos cuando se trata de probar rigurosamente sus modelos de IA antes de lanzarlos al público. Señaló que los modelos de IA más nuevos están sacrificando la seguridad por la calidad, es decir, mejores respuestas de los chatbots de IA. 

“Los modelos están mejorando, pero también es más probable que sean buenos haciendo cosas malas. Es más fácil engañarlos para que hagan cosas malas.”

– James White, Director de Tecnología en Calypso.

En marzo, Google pareció priorizar su producto sobre la seguridad después de que publicó su último modelo de IA, Gemini 2.5, diciendo que era el modelo de IA más inteligente de la firma. La compañía tardó semanas en publicar la tarjeta del modelo Gemini 2.5, lo que significa que no compartió información sobre cómo funcionaba el modelo de IA ni sus limitaciones y peligros potenciales tras su lanzamiento.

La empresa reconoció el 2 de abril que evalúa sus modelos más avanzados en busca de capacidades potencialmente peligrosas antes de su lanzamiento. Google actualizó posteriormente la entrada del blog y omitió las palabras “antes de su lanzamiento.”

La empresa publicó una ficha de modelo incompleta el 16 de abril y la actualizó el 28 de abril, más de un mes después del lanzamiento del modelo de IA, para incluir información sobre las evaluaciones de capacidades peligrosas de Gemini2.5.

Las empresas de tecnología de IA pasan de la investigación a productos generadores de ingresos

Exempleados de Meta dijeron que no les sorprendió cuando Joelle Pineau, vicepresidenta de Meta y directora de la división FAIR de la empresa, anunció el mes pasado anunció que dejaría su cargo el 30 de mayo. Mencionaron que lo veían como una consolidación del alejamiento de la empresa de la investigación en IA y hacia la priorización del desarrollo de productos prácticos.

Pineau ha dirigido FAIR desde 2023, y según los empleados de Meta, los pequeños equipos de investigación podían trabajar en varias tecnologías de vanguardia que podrían o no dar frutos. El cambio comenzó cuando la empresa tecnológica despidió a 21.000 empleados, o casi una cuarta parte de su plantilla, a finales de 2022. Exempleados familiarizados con el asunto dijeron que a los investigadores de FAIR se les ordenó trabajar más estrechamente con los equipos de producto como parte de las medidas de reducción de costos.

Dos personas familiarizadas con el asunto dijeron que a principios de este año, uno de los directores de FAIR, Kim Hazelwood, dejó la empresa como parte del plan de Meta de reducir el 5% de su plantilla. Las personas señalaron que el lanzamiento de ChatGPT por parte de OpenAI creó un sentido de urgencia en Meta para invertir más recursos en modelos de lenguaje grandes (LLM).

Los individuos también revelaron que el director de Producto de Meta, Chris Cox, ha estado supervisando FAIR para cerrar la brecha entre la investigación y el grupo de GenAI centrado en el producto. Añadieron que GenAI, bajo Cox, ha estado desviando más recursos informáticos y miembros del equipo de FAIR debido a su estatus elevado en la empresa. 

El mes pasado, Meta publicó herramientas de seguridad y seguridad para desarrolladores para construir aplicaciones con los modelos de IA Llama 4 de la empresa. Meta dijo que las herramientas ayudan a mitigar las posibilidades de que Llama 4 filtre accidentalmente información sensible o produzca contenido dañino.