Les modèles d'IA, même ChatGPT, échouent à répondre aux questions des dépôts SEC
- Les modèles d'IA peinent encore à répondre avec précision aux questions issues des documents de la Securities and Exchange Commission (SEC).
- Le modèle ChatGPT le plus avancé n'a pu répondre correctement qu'à 79 % des questions, ce qui est « inacceptable ».
- Jusqu'à ce que les LLM deviennent plus fiables et dignes de confiance, leur adoption pourrait être lente dans les secteurs où la qualité des données est cruciale.
Au cours des derniers mois, nous avons vu les grands modèles de langage faire beaucoup de choses impressionnantes, comme résumer et rédiger des textes, mais ils peinent toujours à interpréter et répondre avec précision aux questions provenant des dépôts SEC, même le meilleur d'entre eux—ChatGPT.
Les modèles d'IA peinent à répondre aux questions des dépôts SEC
Lors d'un test réalisé par des chercheurs d'une startup appelée Patronus AI, les modèles ont soit refusé de répondre à partir des dépôts SEC, soit ont halluciné des chiffres et des faits.
Même le modèle ChatGPT le plus avancé, « GPT-4-Turbo », n'a pu répondre correctement qu'à 79 % des questions, selon la startup.
« Ce type de taux de performance est absolument inacceptable. Il doit être beaucoup, beaucoup plus élevé pour que cela fonctionne réellement de manière automatisée et prête pour la production », a déclaré Anand Kannappan, co-fondateur de Patronus AI.
Tout le monde ne possède pas l'expertise juridique et financière nécessaire pour saisir immédiatement les nuances des dépôts SEC, et même le tri manuel de dépôts complexes est chronophage et laborieux.
Les modèles d'IA capables de résumer avec précision les points clés ou de répondre à des questions spécifiques provenant des dépôts SEC et de documents importants sont très significatifs et pourraient faire gagner aux gens un temps précieux pour se concentrer sur une analyse et une interprétation plus approfondies, en particulier dans l'industrie financière concurrentielle.
Cependant, il semble que nous ne soyons pas encore proches de ce niveau de fiabilité et de précision avec les modèles d'IA existants pour encourager leur utilisation dans des produits réels.
« Il n'y a tout simplement aucune marge d'erreur acceptable, car, surtout dans les industries réglementées, même si le modèle se trompe une fois sur vingt, cela reste une précision insuffisante », a déclaré Rebecca Qian, co-fondatrice de Patronus AI.
Les modèles d'IA sont « non déterministes »
Selon Kannappan, les LLM sont non déterministes, ce qui signifie qu'ils ne sont pas garantis de générer le même résultat à chaque fois à partir de la même entrée. Ainsi, les entreprises cherchant à intégrer des modèles d'IA devront toujours tester rigoureusement pour s'assurer qu'ils fournissent des résultats précis et fiables et ne s'écartent pas du sujet.
Jusqu'à ce que les LLM deviennent plus fiables et dignes de confiance, il pourrait y avoir un taux d'adoption lent dans les industries où la qualité des données est la plus importante, en particulier la finance.
« Nous pensons définitivement que les résultats peuvent être assez prometteurs », a déclaré Kannappan. « Les modèles continueront de s'améliorer avec le temps. Nous sommes très optimistes quant au fait qu'à long terme, beaucoup de cela pourra être automatisé. Mais aujourd'hui, vous aurez définitivement besoin d'au moins un humain dans la boucle pour aider à soutenir et guider le flux de travail que vous avez. »
Ne vous contentez pas de lire les actualités crypto. Comprenez-les. Abonnez-vous à notre newsletter. C'est gratuit.
Avertissement. Les informations fournies ne constituent pas des conseils en matière d'investissement. Cryptopolitan.com ne saurait être tenue responsable des investissements réalisés sur la base des informations fournies sur cette page. Nous recommandons vivement de mener vos propres recherches et/ou de consulter un professionnel qualifié avant de prendre toute décision d'investissement.
Ibiam Wayas
Ibiam Wayas couvre l'actualité des cryptomonnaies depuis 2019. Il a étudié l'informatique à l'Université ouverte du Nigeria. Ses travaux ont été publiés sur diverses plateformes d'actualités cryptographiques, dont Coinfomania, Crypto News Australia et AltcoinBuzz. Fort de son background en informatique, il se concentre désormais sur les actualités liées aux cryptomonnaies, à la robotique et à la longévité.
