La predicción multitoken triplica la velocidad del modelo de IA, afirma Meta

Según investigadores de Meta, entrenar modelos de lenguaje para predecir múltiples tokens a la vez da como resultado una mejor eficiencia de muestreo.

Los modelos de lenguaje grandes como Llama y ChatGPT generalmente se entrenan para la próxima predicción de token, pero con este nuevo enfoque, se puede lograr un mejor rendimiento.

¿Qué es la técnica de predicción de token único?

La técnica de predicción multitoken ofrece una ventaja significativa en algunos escenarios, triplicando la velocidad de las tareas generativas. Sin embargo, aún no es una solución universal para todo tipo de modelo. La técnica tiene un amplio margen de mejora y, para algunas aplicaciones LLM, puede convertirse en una herramienta robusta.

Para una comprensión más clara, se puede decir que el proceso tradicional para el entrenamiento LLM utiliza un enfoque llamado “predicción del próximo token” y, de esta manera, un modelo predice solo el próximo token futuro en una secuencia dada.

En un proceso automatizado, el token predecido se agrega a la entrada y el proceso se repite una y otra vez en todo el texto de entrada proporcionado para que el modelo aprenda los patrones comunes y desarrolle la capacidad de producir una salida que consista en texto lógico y consistente.

Esta técnica tiene algunas desventajas, ya que al procesar solo el siguiente token, el modelo se centra demasiado en los patrones locales del texto e ignora las predicciones que solo se pueden hacer con el razonamiento.

Otro problema con esta técnica es que requiere introducir enormes cantidades de conjuntos de datos en el modelo para alcanzar el flujo normal de salida de lenguaje que los humanos pueden hacer con muy poco texto.

La predicción de múltiples tokens permite una velocidad tres veces mayor

En el nuevo enfoque multitoken sugerido por Meta, el LLM debe predecir múltiples tokens desde diferentes posiciones simultáneamente durante el proceso de entrenamiento. Los investigadores utilizaron una arquitectura de predicción simple para la predicción multitoken que no requiere recursos adicionales como tiempo y procesamiento de memoria.

Los investigadores utilizaron la misma arquitectura Transformer que ya utilizan la mayoría de los LLM, pero realizaron algunos cambios para dar cabida a la predicción de múltiples tokens incrementando sus cabezales de salida de uno a varios y asignando uno a cada token.

De esta manera, para extraer conclusiones y hacer predicciones, el modelo utiliza la misma estrategia básica de predicción siguiente, pero al utilizar múltiples cabezas, puede acelerar el proceso. El estudio de investigación afirma:

“Si bien es gratuita y sencilla, la predicción de múltiples tokens es una modificación eficaz para entrenar modelos de transformadorestrony rápidos”

Fuente: Meta.

Los investigadores descubrieron durante el estudio que la técnica producía resultados inferiores al aplicarla en modelos más pequeños, pero que los resultados superaban la media al aplicar el mismo proceso a modelos más grandes, y que los resultados seguían mejorando con el tamaño del modelo. Según el estudio,

El método es cada vez más útil para modelos de mayor tamaño y mantiene su atractivo al entrenar para múltiples épocas. Las mejoras son especialmente pronunciadas en parámetros generativos como la codificación, donde nuestros modelos superan consistentemente las líneas basetronpor varios puntos porcentuales

Fuente: Meta.

Los investigadores también dijeron que la técnica de predicción de múltiples tokens también hace que el modelo sea tres veces más rápido en producir resultados lógicos, lo que es útil con el beneficio de no tener ningún costo adicional o tener muy poco.