Модели ИИ, включая ChatGPT, не могут ответить на вопросы из документов SEC

За последние месяцы мы видели, как большие языковые модели совершили множество впечатляющих достижений, таких как суммирование и написание текстов, но они все еще испытывают трудности с точной интерпретацией и ответами на вопросы из документов SEC, даже самые лучшие из них — ChatGPT. 

Модели ИИ испытывают трудности с ответами на вопросы из документов SEC

Во время теста, проведенного исследователями из стартапа Patronus AI, модели либо отказывались отвечать на вопросы из документов SEC, либо выдумывали цифры и факты. 

Даже самая продвинутая модель ChatGPT, «GPT-4-Turbo», смогла правильно ответить только на 79% вопросов, согласно данным стартапа. 

"Такой уровень производительности абсолютно неприемлем. Он должен быть намного выше, чтобы это действительно работало в автоматизированном и готовом к производству виде", — сказал сооснователь Patronus AI Ананд Каннаппан. 

Не у всех есть юридическая и финансовая экспертиза, чтобы сразу понять нюансы документов SEC, и даже ручная обработка сложных документов занимает много времени и сил. 

Модели ИИ, способные точно суммировать ключевые моменты или отвечать на конкретные вопросы из документов SEC и важных документов, имеют огромное значение и могут сэкономить людям ценное время для более глубокого анализа и интерпретации, особенно в конкурентной финансовой отрасли. 

Однако, похоже, мы еще не близки к такому уровню надежности и точности с существующими моделями ИИ, чтобы поощрять их использование в реальных продуктах.

"Просто нет допустимого запаса на ошибку, особенно в регулируемых отраслях: даже если модель ошибается в ответе 1 раз из 20, это все еще недостаточно высокая точность", — сказала сооснователь Patronus AI Ребекка Цянь.

Модели ИИ являются «недетерминированными»

По словам Каннаппана, большие языковые модели (LLM) являются недетерминированными, то есть они не гарантируют генерацию одного и того же результата при каждом вводе одних и тех же данных. Поэтому компаниям, стремящимся внедрить модели ИИ, все еще необходимо проводить строгие тесты, чтобы убедиться, что они предоставляют точные и надежные результаты и не уходят от темы.

Пока LLM не станут более надежными и заслуживающими доверия, в отраслях, где качество данных имеет наибольшее значение, особенно в финансах, может наблюдаться медленный темп внедрения. 

"Мы определенно считаем, что результаты могут быть довольно многообещающими", — сказал Каннаппан. "Модели будут продолжать улучшаться со временем. Мы очень надеемся, что в долгосрочной перспективе многое из этого можно будет автоматизировать. Но сегодня вам определенно понадобится хотя бы человек в контуре, чтобы помочь поддержать и направить любой рабочий процесс, который у вас есть".