ÚLTIMAS NOTICIAS
SELECCIONADO PARA TI
SEMANALMENTE
MANTÉNGASE EN LA CIMA

Los mejores análisis sobre criptomonedas directamente en tu bandeja de entrada.

Investigadores logran liberar con éxito chatbots de inteligencia artificial usando su tipo

PorJuan PalmerJuan Palmer
3 minutos de lectura

  • Investigadores de la NTU Singapur lograron liberar con éxito populares chatbots de inteligencia artificial, revelando vulnerabilidades en grandes modelos de lenguaje.
  • El método doble llamado “Masterkey” se utilizó para comprometer los chatbots de IA, lo que destaca la necesidad de mejorar las medidas de seguridad.
  • La actual carrera armamentista entre piratas informáticos y desarrolladores determinará el futuro de la seguridad de los chatbots de IA.

Singapur, 28 de diciembre de 2023 – Científicos informáticos de la Universidad Tecnológica de Nanyang, Singapur (NTU Singapur), han logrado un avance al comprometer varios chatbots de inteligencia artificial (IA) populares, como ChatGPT, Google Bard y Microsoft Bing Chat. Este exitoso jailbreak de chatbots de IA ha suscitado preocupación por la vulnerabilidad de los grandes modelos de lenguaje (LLM) y la necesidad de reforzar las medidas de seguridad.

Rompiendo los límites de los investigadores hackean chatbots de IA

En un estudio pionero dirigido por el profesor Liu Yang, de la Facultad de Ciencias de la Computación e Ingeniería de la NTU, el equipo de investigación expuso vulnerabilidades en las capacidades de los chatbots LLM. Los LLM, que constituyen el núcleo de los chatbots de IA, han ganado popularidad por su capacidad de comprender, generar e imitar texto con características humanas. Destacan en diversas tareas, desde la planificación de itinerarios hasta la programación y la narración de historias. Sin embargo, estos chatbots también se adhieren a estrictas normas éticas establecidas por sus desarrolladores para evitar la generación de contenido poco ético, violento o ilegal.

Los investigadores buscaron ampliar los límites de estas directrices y encontraron formas innovadoras de engañar a los chatbots de IA para que generaran contenido que violaba los límites éticos. Su enfoque, conocido como "jailbreaking", buscaba explotar las debilidades de los chatbots LLM, lo que resaltaba la necesidad de reforzar las medidas de seguridad.

Masterkey en el método de jailbreak doble

El equipo de investigación desarrolló un método doble de "llave maestra" para comprometer eficazmente los chatbots LLM. En primer lugar, aplicaron ingeniería inversa a las defensas que utilizaban los LLM para detectar y rechazar consultas maliciosas. Con este conocimiento, los investigadores entrenaron un LLM para generar indicaciones que pudieran eludir estas defensas, creando así un LLM con jailbreak.

La creación de indicaciones para jailbreak podría automatizarse, lo que permitiría al LLM de jailbreak adaptarse y crear nuevas indicaciones incluso después de que los desarrolladores hayan parcheado sus chatbots. Los hallazgos de los investigadores, detallados en un artículo en el servidor de preimpresión arXiv, fueron aceptados para su presentación en el Simposio de Seguridad de Redes y Sistemas Distribuidos en febrero de 2024.

Poniendo a prueba la ética del LLM y las vulnerabilidades descubiertas

Los chatbots de IA funcionan respondiendo a las indicaciones o instrucciones del usuario. Los desarrolladores establecen estrictas normas éticas para evitar que estos chatbots generen contenido inapropiado o ilegal. Los investigadores exploraron maneras de diseñar indicaciones que pasaran desapercibidas para los chatbots, induciéndolos a responder.

Una táctica empleada consistió en crear un personaje que ofrecía indicaciones con espacios entre cada carácter, eludiendo eficazmente los censores de palabras clave que podrían marcar palabras potencialmentematic . Además, se le indicó al chatbot que respondiera como un personaje "sin reservas y sin restricciones morales", lo que aumentaba la probabilidad de generar contenido poco ético.

Al introducir manualmente dichas indicaciones y monitorear los tiempos de respuesta, los investigadores obtuvieron información sobre el funcionamiento interno y las defensas de los chatbots LLM. Este proceso de ingeniería inversa les permitiódentdebilidades y crear un conjunto de datos de indicaciones capaces de desbloquear los chatbots.

Una carrera armamentista en aumento

El constante juego del gato y el ratón entre hackers y desarrolladores de LLM ha intensificado las medidas de seguridad de los chatbots de IA. Cuando se descubren vulnerabilidades, los desarrolladores publican parches para solucionarlas. Sin embargo, con la introducción de Masterkey, los investigadores han cambiado el equilibrio de poder.

Un chatbot de IA para jailbreaking, creado con Masterkey, puede generar múltiples indicaciones y adaptarse continuamente, aprendiendo de éxitos y fracasos pasados. Este desarrollo permite a los hackers superar en inteligencia a los desarrolladores de LLM usando sus herramientas.

Los investigadores comenzaron creando un conjunto de datos de entrenamiento que incorporaba indicaciones eficaces descubiertas durante la fase de ingeniería inversa y otras fallidas para guiar el modelo de jailbreaking de IA. Este conjunto de datos se utilizó para entrenar un LLM, seguido de un preentrenamiento continuo y un ajuste de tareas. Este proceso expuso el modelo a información diversa y mejoró su capacidad para manipular texto para el jailbreaking.

El futuro de la seguridad de los chatbots de IA

Las indicaciones de Masterkey fueron tres veces más efectivas para liberar los LLM que las generadas por los propios LLM. El LLM liberado también demostró la capacidad de aprender de errores pasados ​​y generar constantemente indicaciones nuevas y más efectivas.

De cara al futuro, los investigadores sugieren que los propios desarrolladores de LLM podrían emplear enfoques automatizados similares para mejorar sus medidas de seguridad. Esto garantizaría una cobertura y evaluación integrales de posibles escenarios de uso indebido a medida que los LLM evolucionen y amplíen sus capacidades.

El éxito del jailbreaking de chatbots de IA por parte de investigadores de la NTU Singapur pone de manifiesto las vulnerabilidades de los LLM y subraya la necesidad de medidas de seguridad robustas en el desarrollo de IA. A medida que los chatbots de IA se integran cada vez más en la vida cotidiana, la protección contra posibles usos indebidos e infracciones éticas sigue siendo una prioridad para los desarrolladores de todo el mundo. La continua competencia entre hackers y desarrolladores sin duda definirá el futuro de la seguridad de los chatbots de IA.

Las mentes más brillantes del mundo de las criptomonedas ya leen nuestro boletín. ¿Te apuntas? ¡ Únete!

Comparte este artículo

Aviso legal. La información proporcionada no constituye asesoramiento comercial. Cryptopolitanconsultar no se responsabiliza de las inversiones realizadas con base en la información proporcionada en esta página. Recomendamostronencarecidamente realizar una investigación independientedent un profesional cualificado antes de tomar cualquier decisión de inversión.

Juan Palmer

Juan Palmer

John Murangiri llegó a Cryptopolitan con experiencia en análisis de mercado. John (también conocido como JP) se graduó de la Universidad de Nairobi con una licenciatura en comunicación de masas y estudios de medios. Anteriormente, colaboró ​​con análisis del mercado de criptomonedas enBitcoiny Metacoingraph.

MÁS… NOTICIAS
CURSO INTENSIVO DE CRIPTOMONEDAS PROFUNDAS