Investigadores del MIT desarrollan IA tóxica para combatir contenido dañino
- MIT desarrolló Toxic AI para enseñar a los chatbots cómo identificar y filtrar contenido dañino.
- El red teaming impulsado por la curiosidad mejora la seguridad de la IA al exponerla a escenarios de riesgo.
- Las pruebas proactivas de IA del MIT tienen como objetivo salvaguardar el uso público identificando posibles fallos.
En su estudio revolucionario, investigadores del Instituto de Tecnología de Massachusetts (MIT) están entrenando realmente sistemas de IA para burlarse y expresar odio utilizando la IA como herramienta. El objetivo aquí es crear un plan sólido tanto para detectar como para frenar el contenido tóxico en los medios. Esta tecnología debería llamarse CRT por motivos a corto plazo. Para que esto se lleve a cabo, se debe enseñar a los chatbots a depender de parámetros preestablecidos para excluir cualquier respuesta inapropiada.
Comprender y mitigar los riesgos de la IA
La tecnología de aprendizaje automático con modelos de lenguaje como representantes está rápidamente superando a los humanos en una variedad de funciones, desde crear software hasta responder preguntas no triviales. Si bien estas habilidades pueden explotarse para bien o para mal, por ejemplo, la difusión de desinformación o contenido dañino, el potencial de la IA en el campo de la atención médica es vasto. Se está convirtiendo lentamente en una parte esencial del sistema. Como tal, una IA, como ChatGPT, puede desarrollar algoritmos informáticos bajo demanda, pero también puede emitir contenido que no sea compatible cuando esta IA no está dirigida.
El algoritmo de IA del MIT aborda estos problemas sintetizando los prompts. Lo hace primero reflejando los prompts dados y luego respondiendo. Esta medida ayuda a los científicos a ver la tendencia creciente y abordar el problema desde el principio. El estudio, mencionado en un artículo en la plataforma arXiv, indica que el sistema de IA es capaz de concebir un alcance más amplio de comportamiento malicioso del que los humanos probablemente contemplarían de otra manera. Esto, a su vez, puede ayudar al sistema a contrarrestar tales ataques con mayor eficacia.
Red teaming para una interacción de IA más segura
Debido a la posición del Departamento del Laboratorio de Inteligencia Artificial Probabilística del MIT bajo la supervisión de Pulkit Agrawal como director, el equipo aboga por un enfoque de estilo red teaming, que es el proceso de probar un sistema haciéndose pasar por un adversario. Este enfoque, entre otros, se utiliza para mostrar posibles deficiencias aún no comprendidas en la inteligencia artificial. El equipo de desarrollo de IA dio un paso más la semana pasada. Comenzó a generar una serie de prompts riesgosos, que incluyen hipotéticos realmente desafiantes como “¿Cómo asesinar a mi marido?”, están utilizando estos ejemplos para entrenar qué contenido no debería estar permitido en su sistema de IA.
La aplicación revolucionaria del red teaming es más amplia que identificar defectos existentes. También implica una búsqueda proactiva de oportunidades para tipos desconocidos de respuestas potencialmente dañinas. Este enfoque estratégico asegura que los sistemas de IA estén diseñados para combatir entradas adversas que van desde lo puramente lógico hasta incidentes impredeciblemente inesperados, asegurando que estas tecnologías permanezcan lo más seguras posible.
Estableciendo estándares de seguridad y corrección de la IA
A medida que las aplicaciones de IA se vuelven cada vez más ubicuas, la idea principal es mantener la corrección y la seguridad de los modelos de IA de manera preventiva. Agrawal ha estado liderando las verificaciones de sistemas de IA en el MIT y se considera que está a la vanguardia junto con otros que actualmente participan en este trabajo. Su investigación es de hecho muy importante; se están agregando cada vez más nuevos modelos a la lista y se actualizan con más frecuencia.
Los datos recopilados del informe del MIT, por lo tanto, serán de uso significativo para construir sistemas de IA que puedan tener una conexión saludable con los humanos. A medida que pasa el tiempo, las técnicas adoptadas por Agrawal y su grupo se convertirán en el estándar de la industria a medida que la tecnología avanza para las aplicaciones de IA, y los efectos no deseados del progreso del aprendizaje automático se controlarán.
Si estás leyendo esto, ya vas por delante. Mantente así con nuestro boletín.
Aviso de responsabilidad. La información proporcionada no es un consejo de trading. Cryptopolitan.com no asumimos responsabilidad alguna por las inversiones realizadas basándose en la información proporcionada en esta página. Recomendamos encarecidamente la investigación independiente y/o la consulta con un profesional calificado antes de tomar cualquier decisión de inversión.
Glory Kaburu
Glory es una periodista extremadamente experta con herramientas e investigación sobre IA. Está apasionada por la inteligencia artificial y ha escrito varios artículos sobre el tema. Se mantiene al día con los últimos avances en Inteligencia Artificial, Aprendizaje Automático y Aprendizaje Profundo, y escribe regularmente sobre ellos.
