AIモデル、ChatGPTでさえ、SEC提出書類からの質問に回答できない

最近の数ヶ月間、大規模言語モデルは要約やテキストの作成など、多くの印象的なことを成し遂げてきましたが、それでもSEC提出書類の正確な解釈や質問への回答には苦戦しており、最高のモデルであるChatGPTでさえも同様です。 

AIモデルはSEC提出書類からの質問に回答するのが苦手

Patronus AIというスタートアップの研究者が行ったテストでは、モデルはSEC提出書類からの回答を拒否するか、数値や事実をでっち上げていました。 

スタートアップによると、最も先進的なChatGPTモデル「GPT-4-Turbo」でさえ、質問の79%にしか正しく回答できませんでした。 

「そのようなパフォーマンス率は完全に受け入れられません。自動化された本番環境で本当に機能するためには、はるかに高い数値である必要があります」と、Patronus AIの共同創業者であるAnand Kannappanは述べています。 

SEC提出書類の微妙なニュアンスをすぐに理解できる法的・財務的な専門知識を持つ人は全員がいるわけではありません。また、複雑な提出書類を手動で精査するのは時間がかかり、労力も必要です。 

SEC提出書類や重要な文書から主要なポイントを正確に要約したり、特定の質問に答えたりできるAIモデルは非常に重要であり、特に競争の激しい金融業界において、人々がより深い分析と解釈に集中できるよう貴重な時間を節約できます。 

しかし、既存のAIモデルでは、実際の製品での使用を促すのに十分な信頼性と精度にまだ近づいていないようです。

「許容できる誤差の余地は存在しません。特に規制業界では、モデルが20回に1回でも間違った答えを出せば、それはまだ精度が十分ではないからです」と、Patronus AIの共同創業者であるRebecca Qianは述べています。

AIモデルは「非決定論的」である

Kannappanによると、LLM（大規模言語モデル）は非決定論的であり、同じ入力から毎回同じ結果が生成されるとは限らないという意味です。したがって、AIモデルを組み込もうとする企業は、正確で信頼性の高い結果を提供し、トピックから逸脱しないことを保証するために、厳格なテストを依然として行う必要があります。

LLMがより信頼でき、信頼性が高まるまで、データの品質が最も重要な業界、特に金融業界では、採用率がゆっくりとしたものになる可能性があります。 

「結果は非常に有望だと私たちは考えています」とKannappanは言います。「モデルは時間とともに改善され続けます。長期的には、この多くの部分を自動化できることを非常に期待しています。しかし、今日では、ワークフローをサポートし、ガイドするために少なくとも人間をループ内に含める必要があります。」