멀티 토큰 예측은 AI 모델 속도를 3배 증가시킵니다, Meta는 말합니다

언어 모델을 한 번에 여러 토큰을 예측하도록 훈련하면 샘플 효율성이 향상됩니다, Meta의 연구원들은 말합니다.

Llama와 ChatGPT와 같은 대규모 언어 모델은 일반적으로 다음 토큰 예측을 위해 훈련되지만, 이 새로운 접근 방식을 통해 더 나은 성능을 달성할 수 있습니다.

단일 토큰 예측 기술이란 무엇인가요?

멀티 토큰 예측 기술은 일부 시나리오에서 생성 작업 속도의 3배라는 상당한 이점을 제공하지만, 여전히 모든 유형의 모델에 대한 만능 솔루션은 아닙니다. 이 기술에는 개선의 여지가 많으며, 일부 LLM 애플리케이션에서는 강력한 도구가 될 수 있습니다.

더 명확한 이해를 위해, LLM 훈련의 전통적인 프로세스는 “다음 토큰 예측”이라고 불리는 접근 방식을 사용하며, 이 방식으로 모델은 주어진 시퀀스에서 다음 하나의 미래 토큰만 예측합니다.

자동화된 프로세스에서, 모델이 예측한 토큰이 입력에 추가되고, 모델이 공통 패턴을 학습하고 논리적이며 일관된 텍스트로 구성된 출력을 생성하는 능력을 개발할 수 있도록 제공된 전체 텍스트 입력에 대해 프로세스가 반복됩니다.

이 기술에는 몇 가지 단점이 있습니다. 다음 토큰만 처리함으로써 모델은 텍스트의 지역 패턴에 너무 집중하고 추론을 통해서만 예측할 수 있는 예측을 무시합니다.

이 기술의 또 다른 문제는 인간이 매우 적은 텍스트로 수행할 수 있는 정상적인 언어 출력 흐름에 도달하기 위해 모델에 거대한 양의 데이터 세트를 공급해야 한다는 것입니다.

멀티 토큰 예측은 3X 속도를 가능하게 합니다

Meta가 제안한 새로운 멀티 토큰 접근 방식에서, LLM은 훈련 과정에서 다른 위치에서 여러 토큰을 동시에 예측하도록 지시됩니다. 연구자들은 시간 및 메모리 처리와 같은 추가 리소스가 필요하지 않은 멀티 토큰 예측을 위한 간단한 예측 아키텍처를 사용했습니다.

연구자들은 대부분의 LLM에서 이미 사용되는 동일한 Transformer 아키텍처를 사용했지만, 단일에서 다중로 출력 헤드를 증가시키고 각 토큰에 하나를 할당하여 다중 토큰 예측을 수용하기 위해 일부 변경을 가했습니다.

이렇게 함으로써, 모델은 결론을 도출하고 예측을 위해 동일한 기본 다음 예측 전략을 사용하지만, 다중 헤드를 활용하여 프로세스를 가속화할 수 있습니다. 연구 논문은 다음과 같이 말합니다.

“비용이 들지 않고 간단하지만, 멀티 토큰 예측은 더 강력하고 빠른 트랜스포머 모델을 훈련하기 위한 효과적인 수정입니다.”

출처: Meta.

연구자들은 연구 중에 이 기술을 더 작은 모델에 사용할 때 하위 결과를 생성했지만, 동일한 프로세스를 더 큰 모델에 적용했을 때 결과가 평균보다 좋아졌으며, 모델의 크기가 커짐에 따라 결과가 계속 개선되었음을 발견했습니다. 연구 논문은 다음과 같이 씁니다.

“이 방법은 더 큰 모델 크기에 점점 더 유용하며, 여러 에포크에 대해 훈련할 때에도 그 매력을 유지합니다. 코딩과 같은 생성 벤치마크에서 우리의 모델은 강력한 베이스라인을 여러 퍼센트 포인트로 일관되게 초과합니다.”

출처: 메타.

연구자들은 또한 멀티 토큰 예측 기술이 논리적 결과를 생성하는 속도를 3배 빠르게 만든다고 말했으며, 이는 추가 비용이 없거나 매우 적게 들면서 유용합니다.