Los principales chatbots de IA ‘altamente vulnerables’ a simples ‘Jaibreaks’ – Estudio
Jeffrey Gogo
2 min de lectura
● Los chatbots de IA pueden ser engañados para generar respuestas dañinas con facilidad
● Los investigadores encontraron que cinco LLM principales son 'altamente vulnerables' a jailbreaks
● Las empresas de IA enfatizan los mecanismos de seguridad integrados en sus modelos
Los chatbots de IA como ChatGPT o Gemini pueden ser engañados con facilidad para que cumplan con consultas que generan respuestas dañinas, según un nuevo estudio del Instituto de Seguridad de la IA del Reino Unido (AISI).
Los investigadores gubernamentales probaron la integridad de los modelos de lenguaje grandes (LLM) – la tecnología detrás de los chatbots de inteligencia artificial – contra ataques de seguridad nacional.
Los hallazgos llegan antes de la Cumbre de IA de Seúl, que será copresidida por el primer ministro del Reino Unido, Rishi Sunak, en Corea del Sur del 21 al 22 de mayo.
También lea: La Seguridad Será un Tema Principal en la Cumbre de IA de Seúl
Los Chatbots de IA Propensos a Respuestas Tóxicas
AISI probó 'jailbreaks' básicos – prompts de texto diseñados para anular las protecciones contra salidas ilegales, tóxicas o explícitas – contra cinco LLM principales. El Instituto no nombró los sistemas de IA, pero encontró que todos eran "altamente vulnerables".
"Todos los LLM probados siguen siendo altamente vulnerables a jailbreaks básicos, y algunos proporcionarán salidas dañinas incluso sin intentos dedicados de eludir sus salvaguardas", dijo el estudio.
Según el informe, ataques "relativamente simples" como solicitar al chatbot que incluya "Claro, estaré encantado de ayudar", pueden engañar a los modelos de lenguaje grandes para que proporcionen contenido que es dañino de muchas maneras.
El contenido puede ayudar en el autolesionamiento, soluciones químicas peligrosas, sexismo o negación del Holocausto, dijo. AISI utilizó prompts públicamente disponibles y diseñó privadamente otros jailbreaks para el estudio.
El Instituto también probó la calidad de las respuestas a consultas de temática biológica y química.
Si bien el conocimiento de nivel experto en estos campos puede usarse para bien, los investigadores querían saber si los chatbots de IA pueden usarse para propósitos dañinos como comprometer la infraestructura crítica nacional.
"Varios LLM demostraron un conocimiento de nivel experto en química y biología. Los modelos respondieron a más de 600 preguntas privadas de química y biología escritas por expertos a niveles similares a los de humanos con formación de doctorado", encontraron los investigadores.
La IA Plantea una Amenaza Limitada de Ciberseguridad
Con respecto a la posible weaponización de los chatbots de IA para realizar ciberataques, el estudio dijo que los LLM aprobaron fácilmente tareas simples de ciberseguridad diseñadas para estudiantes de secundaria.
Sin embargo, los chatbots tuvieron dificultades con tareas dirigidas a estudiantes universitarios, lo que sugiere un potencial maligno limitado.
Otra área de preocupación fue si los chatbots pueden ser desplegados como agentes para realizar autónomamente una serie de acciones de maneras que "pueden ser difíciles de controlar para los humanos".
"Dos LLM completaron tareas de agentes de horizonte corto (como problemas simples de ingeniería de software) pero fueron incapaces de planificar y ejecutar secuencias de acciones para tareas más complejas", señaló el estudio.
También lea: ‘El «Padre de la IA» quiere una renta básica universal para las pérdidas de empleo
El subsecretario de Estado del Departamento de Ciencia, Innovación y Tecnología del Reino Unido, Saqib Bhatti MP, fue recientemente citado diciendo que la legislación tomará forma en su debido momento y estará informada por las pruebas.
Las Empresas Afirman Filtrar Contenido Malicioso
Empresas como el creador de Claude, Anthropic, Meta, que hizo Llama, y OpenAI, el desarrollador de ChatGPT, han enfatizado los mecanismos de seguridad integrados de sus respectivos modelos.
OpenAI dice que no permite que su tecnología sea "usada para generar contenido odioso, acosador, violento o para adultos". Anthropic declaró que prioriza "evitar respuestas dañinas, ilegales o no éticas antes de que ocurran".
Se espera que los hallazgos del Instituto de Seguridad de la IA se presenten ante ejecutivos de tecnología, líderes gubernamentales y expertos en inteligencia artificial en la cumbre de Seúl.
Cryptopolitan Reporte por Jeffrey Gogo
Si estás leyendo esto, ya vas por delante. Mantente así con nuestro boletín.
Aviso legal. La información proporcionada no constituye asesoramiento de trading. Cryptopolitan.com no asume responsabilidad alguna por ninguna inversión realizada basándose en la información proporcionada en esta página. Recomendamos encarecidamente realizar investigaciones independientes y/o consultar con un profesional calificado antes de tomar cualquier decisión de inversión.
Jeffrey Gogo
Jeffrey Gogo es un periodista con 20 años de experiencia en noticias y análisis de negocios, finanzas y cambio climático. Su trabajo ha sido destacado por la Fundación Thomson Reuters, The Zimbabwe Herald y varias publicaciones en línea. También ha escrito extensamente sobre IA y el metaverso, y comenzó a cubrir los mercados de criptomonedas en 2017. Gogo estudió periodismo y comunicación masiva en CCOSA en Harare.
