AI 모델, 심지어 ChatGPT도 SEC 제출 서류의 질문에 답하지 못함

최근 몇 달 동안 우리는 대규모 언어 모델이 텍스트 요약 및 작성과 같은 인상적인 많은 일을 수행하는 것을 보았지만, 여전히 SEC 제출 서류를 정확하게 해석하고 질문에 답하는 데 어려움을 겪고 있으며, 그중 가장 뛰어난 모델인 ChatGPT조차도 마찬가지입니다. 

AI 모델, SEC 제출 서류의 질문에 답하는 데 어려움

Patronus AI라는 스타트업이 수행한 테스트 동안, 모델들은 SEC 제출 서류에 대한 답변을 거부하거나 숫자와 사실을 환각(hallucinated)했습니다. 

스타트업에 따르면, 가장 진보된 ChatGPT 모델인 'GPT-4-Turbo'조차도 질문의 79%에만 정확하게 답할 수 있었습니다. 

“그런 성능률은 절대적으로 용납될 수 없습니다. 자동화되고 프로덕션 준비가 된 방식으로 실제로 작동하려면 훨씬 훨씬 높아야 합니다.”라고 Patronus AI의 공동 창립자 Anand Kannappan은 말했습니다. 

모든 사람이 SEC 제출 서류의 미묘한 차이를 즉시 파악할 수 있는 법적 및 금융 전문 지식을 갖춘 것은 아니며, 심지어 복잡한 제출 서류를 수동으로 검토하는 것도 시간이 많이 걸리고 번거롭습니다. 

SEC 제출 서류 및 중요 문서에서 핵심 요점을 정확하게 요약하거나 특정 질문에 답할 수 있는 AI 모델은 매우 중요하며, 특히 경쟁적인 금융 산업에서 사람들이 더 깊은 분석과 해석에 집중할 수 있는 소중한 시간을 절약해 줄 수 있습니다. 

그러나 기존 AI 모델의 신뢰성과 정확성 수준이 실제 제품에서의 사용을 장려할 만큼에 아직 도달하지 않은 것으로 보입니다.

“오류에 대한 허용 오차가 없습니다. 특히 규제 산업에서는 모델이 20번 중 1번이라도 잘못된 답을 내놓는다면 여전히 정확도가 충분히 높지 않기 때문입니다.”라고 Patronus AI의 공동 창립자 Rebecca Qian은 말했습니다.

AI 모델은 '비결정적(Nondeterministic)'입니다

Kannappan에 따르면, LLM(대규모 언어 모델)은 비결정적이므로 동일한 입력에서 매번 동일한 결과를 생성할 것이 보장되지 않습니다. 따라서 AI 모델을 통합하려는 기업은 여전히 엄격한 테스트를 수행하여 정확하고 신뢰할 수 있는 결과를 제공하고 주제를 벗어나지 않도록 해야 합니다.

LLM이 더 신뢰할 수 있고 신뢰도가 높아질 때까지, 데이터 품질이 가장 중요한 산업, 특히 금융 산업에서는 채택 속도가 느릴 수 있습니다. 

“우리는 결과가 꽤 유망하다고 확신합니다.”라고 Kannappan은 말했습니다. “모델은 시간이 지남에 따라 계속 개선될 것입니다. 장기적으로 이 많은 부분을 자동화할 수 있기를 매우 희망합니다. 하지만 현재로서는 최소한 인간이 루프에 참여하여 워크플로우를 지원하고 안내해야 합니다.”