Los gigantes tecnológicos de Silicon Valley dejan de lado la seguridad de la IA para obtener ganancias en sus productos

Silicon Valley era el lugar al que acudían los principales expertos mundiales en inteligencia artificial para realizar investigaciones innovadoras, pero los expertos advierten que las cosas han cambiado y que ahora la IA se centra en el producto. Investigadores y expertos en IA también creen que, desde que OpenAI lanzó ChatGPT a finales de 2022, la industria tecnológica ha priorizado la comercialización sobre la investigación, creando productos de IA listos para el consumidor.

Analistas de Morgan Stanley predijeron que la industria de la IA tiene el potencial de alcanzar un billón de dólares en ingresos anuales para 2028. Expertos del sector manifestaron su preocupación por la seguridad a medida que las empresas líderes desarrollan la inteligencia artificial general (IAG).

La investigación en IA vuelve a generar ganancias mientras Silicon Valley prioriza los productos sobre la seguridad

Geoffrey Hinton dice que las empresas de IA deberían verse obligadas a utilizar un tercio de sus recursos informáticos en investigación de seguridad porque la IA se volverá más inteligente que nosotros en los próximos 20 años y debemos comenzar a preocuparnos por lo que sucederá entonces. pic.twitter.com/ocT3Scmyxg

- Zaratustra (@tsarnick) 25 de octubre de 2024

OpenAI, fundada en 2015 como un laboratorio de investigación sin ánimo de lucro, se encuentra ahora en pleno proceso de transformación en una empresa con fines de lucro, según su director ejecutivo, Sam Altman. Jan Leike, antiguo responsable de alineación de OpenAI, cuyo equipo se centraba en la seguridad de la IA, dimitió el año pasado y afirmó que, en los últimos años, «la cultura y los procesos de seguridad han quedado relegados a un segundo plano frente a productos llamativos».

James White, director de tecnología de la startup de ciberseguridad Calypso, argumentó que las empresas tecnológicas están tomando cada vez más atajos a la hora de probar rigurosamente sus modelos de IA antes de lanzarlos al público. Señaló que los modelos de IA más recientes sacrifican la seguridad en aras de la calidad, es decir, mejores respuestas de los chatbots de IA. 

Los modelos están mejorando, pero también es más probable que sean buenos en cosas malas. Es más fácil engañarlos para que hagan cosas malas

– James White, director de tecnología de Calypso.

En marzo, Google pareció priorizar su producto sobre la seguridad tras el lanzamiento de su último modelo de IA, Gemini 2.5, afirmando que era el modelo de IA más inteligente de la compañía. Sin embargo, la empresa tardó semanas en publicar la ficha técnica de Gemini 2.5, lo que significa que no compartió información sobre el funcionamiento del modelo de IA, sus limitaciones ni sus posibles peligros en el momento de su lanzamiento.

La empresa reconoció el 2 de abril que evalúa sus modelos más avanzados para detectar posibles riesgos antes de su lanzamiento. Posteriormente, Google actualizó la publicación del blog y omitió las palabras "antes de su lanzamiento".

La compañía publicó una tarjeta modelo incompleta el 16 de abril y la actualizó el 28 de abril, más de un mes después del lanzamiento del modelo de IA, para incluir información sobre las evaluaciones de capacidad peligrosa de Gemini2.5.

Las empresas de tecnología de IA pasan de la investigación a productos que generan ingresos

Antiguos empleados de Meta afirmaron no haberse sorprendido cuando Joelle Pineau, vicepresidenta de Metadent directora de la división FAIR de la compañía, anunció el mes pasado que dejaría su puesto el 30 de mayo. Mencionaron que lo interpretaron como una confirmación del alejamiento de la empresa de la investigación en IA y su enfoque en el desarrollo de productos prácticos.

Pineau ha dirigido FAIR desde 2023 y, según empleados de Meta, pequeños equipos de investigación podrían trabajar en diversas tecnologías de vanguardia que podrían o no prosperar. El cambio comenzó cuando la empresa tecnológica despidió a 21.000 empleados, o casi una cuarta parte de su plantilla, a finales de 2022. Exempleados familiarizados con el asunto comentaron que se les indicó a los investigadores de FAIR que colaboraran más estrechamente con los equipos de producto como parte de las medidas de reducción de costes.

Dos personas familiarizadas con el asunto informaron que, a principios de este año, Kim Hazelwood, una de las directoras de FAIR, dejó la empresa como parte del plan de Meta de recortar un 5% su plantilla. Estas personas señalaron que el lanzamiento de ChatGPT por parte de OpenAI generó en Meta una sensación de urgencia para invertir más recursos en modelos de lenguaje de gran tamaño (LLM).

Las personas también revelaron que Chris Cox, director de producto de Meta, ha supervisado FAIR para conectar la investigación con el grupo GenAI, centrado en productos. Agregaron que GenAI, bajo la dirección de Cox, ha estado desviando más recursos informáticos y personal de FAIR debido a su prestigio en la empresa. 

El mes pasado, Meta lanzó herramientas de seguridad para que los desarrolladores creen aplicaciones con los modelos de IA Llama 4 de la compañía. Meta afirmó que estas herramientas ayudan a mitigar las posibilidades de que Llama 4 filtre información confidencial o genere contenido dañino de forma involuntaria.