Los mejores análisis sobre criptomonedas directamente en tu bandeja de entrada.
Los principales chatbots de IA son altamente vulnerables a simples 'jaibreaks', según un estudio
Jeffrey Gogo
● Los chatbots de IA pueden ser engañados para generar respuestas dañinas con facilidad
● Los investigadores encontraron que cinco de los principales LLM son "altamente vulnerables" a las fugas de la cárcel
● Las empresas de IA enfatizan los mecanismos de seguridad integrados en sus modelos
Los chatbots de IA como ChatGPT o Gemini pueden ser engañados con facilidad para que cumplan con consultas que generan respuestas dañinas, según un nuevo estudio del Instituto de Seguridad de IA del Reino Unido (AISI).
Los investigadores del gobierno probaron la integridad de los modelos de lenguaje grande (LLMs), la tecnología detrás de los chatbots de inteligencia artificial, contra ataques a la seguridad nacional.
Los hallazgos llegan antes de la Cumbre de IA de Seúl, que será copresidida por el primer ministro del Reino Unido, Rishi Sunak, en Corea del Sur el 21 y 22 de mayo.
Lea también: La seguridad será un tema prioritario en la Cumbre de IA de Seúl
Los chatbots de IA son propensos a respuestas tóxicas
AISI probó "jailbreaks" básicos (mensajes de texto diseñados para anular las protecciones contra contenido ilegal, tóxico o explícito) en cinco de los principales LLM. El Instituto no identificó los sistemas de IA, pero los encontró "altamente vulnerables"
“Todos los LLM probados siguen siendo altamente vulnerables a fugas de seguridad básicas, y algunos proporcionarán resultados dañinos incluso sin intentos específicos de eludir sus protecciones”, señaló el estudio.
Según el informe, ataques "relativamente simples", como incitar al chatbot a incluir la frase "Claro, con gusto te ayudo", pueden engañar a los modelos de lenguaje complejos para que proporcionen contenido que resulta perjudicial en muchos sentidos.
El contenido puede fomentar la autolesión, las soluciones químicas peligrosas, el sexismo o la negación del Holocausto, afirmó. AISI utilizó indicaciones públicas y diseñó de forma privada otras fugas de información para el estudio.
El Instituto también evaluó la calidad de las respuestas a preguntas sobre temas biológicos y químicos.
Si bien el conocimiento de los expertos en estos campos se puede usar para hacer el bien, los investigadores querían saber si los chatbots de IA se pueden usar para fines dañinos, como comprometer la infraestructura nacional crítica.
Varios estudiantes de maestría demostraron conocimientos de química y biología a nivel de experto. Los modelos respondieron más de 600 preguntas privadas de química y biología, redactadas por expertos, con un nivel similar al de los humanos con formación de doctorado, según los investigadores.
La IA representa una amenaza limitada para la ciberseguridad
Con respecto a los chatbots de IA que potencialmente se pueden convertir en armas para realizar ciberataques, el estudio afirmó que los LLM aprobaron tareas simples de ciberseguridad diseñadas paradentde secundaria.
Sin embargo, los chatbots tuvieron dificultades con las tareas dirigidas a losdentuniversitarios, lo que sugiere un potencial maligno limitado.
Otro área de preocupación fue si los chatbots pueden implementarse como agentes para realizar de forma autónoma una serie de acciones que “pueden ser difíciles de controlar para los humanos”
“Dos LLM completaron tareas de agente de corto plazo (como problemas simples de ingeniería de software), pero no pudieron planificar y ejecutar secuencias de acciones para tareas más complejas”, señaló el estudio.
Lea también: El 'padrino de la IA' propone una renta básica universal para compensar la pérdida de empleos.
El subsecretario de Estado del Departamento de Ciencia, Innovación y Tecnología del Reino Unido, el diputado Saqib Bhatti, declaró recientemente que la legislación se irá perfilando a su debido tiempo y que se basará en los resultados de las pruebas.
Las empresas afirman filtrar el contenido inadecuado
Empresas como Anthropic, creador de Claude, Meta, creador de Llama, y OpenAI, desarrollador de ChatGPT, han puesto énfasis en los mecanismos de seguridad integrados en sus respectivos modelos.
OpenAI afirma que no permite que su tecnología se utilice para generar contenido de odio, acoso, violencia o para adultos. Anthropic, por su parte, declaró que prioriza evitar respuestas dañinas, ilegales o poco éticas antes de que se produzcan.
Se espera que las conclusiones del Instituto de Seguridad de la IA se presenten ante ejecutivos de tecnología, líderes gubernamentales y expertos en inteligencia artificial en la cumbre de Seúl
Cryptopolitan por Jeffrey Gogo
Las mentes más brillantes del mundo de las criptomonedas ya leen nuestro boletín. ¿Te apuntas? ¡ Únete!
Aviso legal. La información proporcionada no constituye asesoramiento comercial. Cryptopolitanno se responsabiliza de las inversiones realizadas con base en la información proporcionada en esta página. Recomendamostronrealizar una investigacióndent o consultar con un profesional cualificado antes de tomar cualquier decisión de inversión.
Jeffrey Gogo
Jeffrey Gogo es periodista con 20 años de experiencia en noticias y análisis de negocios, finanzas y cambio climático. Su trabajo ha sido publicado por la Fundación Thomson Reuters, The Zimbabwe Herald y varias publicaciones en línea. También ha escrito extensamente sobre IA y el metaverso, y comenzó a cubrir los mercados de criptomonedas en 2017. Gogo estudió periodismo y comunicación de masas en el CCOSA de Harare.
- ¿Qué criptomonedas pueden hacerte ganar dinero?
- Cómo mejorar tu seguridad con una billetera (y cuáles realmente vale la pena usar)
- Estrategias de inversión poco conocidas que utilizan los profesionales
- Cómo empezar a invertir en criptomonedas (qué plataformas de intercambio usar, las mejores criptomonedas para comprar, etc.)