Le développement de l’intelligence artificielle se révèle, et ce qui évalue les machines à grands langages (LLMs) comme hautement significatif est une question d’attention. Ces dispositifs avancés détermineront la technologie à venir ; ainsi, la reconnaissance de leurs effets néfastes et la garantie de la sécurité et de l’équité sont nécessaires. Les grands modèles de langage qui ont ouvert une nouvelle frontière pour la technologie IA font face à des problèmes majeurs, en particulier concernant la fiabilité et la crédibilité.

Dévoilement de l’approche multifacette de Raga AI

La découverte d’erreurs et l’élimination subséquente des défauts au sein des LLMs sont difficiles pour diverses raisons, telles que des données d’entraînement de mauvaise qualité ou l’utilisation d’attaques adversariales. Cependant, la question nécessite une dissection fonctionnelle minutieuse dans le contexte local, indiquant qu’une approche à grande échelle est requise pour servir l’évaluation.

Raga AI est un outil ; un cadre d’évaluation approfondi composé de plus d’une centaine de critères sera fourni dans l’arsenal pour prédire chaque problème potentiel auquel une application LLM est confrontée. De la création et de la gestion de bases de données d’informations et de sujets à la sélection et à l’évaluation des LLMs, il s’engage à accélérer tout en reconnaissant la complexité inhérente à la tâche.

L’une des principales capacités de ChatGPT en termes de repérage de modèles d’invite, de détection et de correction de réponses inexactes, de gestion du contexte pour le sens et la précision, et d’utilisation des statistiques pour détecter et signaler la désinformation, les biais et les fuites d’intelligence, est sa capacité à générer des paragraphes, à analyser et à fournir une réponse précise basée sur sa lecture, et à utiliser des métriques.

Amélioration de l’évaluation des LLMs Solution du cadre de Raga AI

Il existe des exemples où les applications LML ont échoué, comme le chatbot IA d’Air Canada fournissant de fausses informations sur la politique de deuil et le chatbot de Google commettant des erreurs factuelles lors de ses performances. Ces instances montrent que de grandes erreurs sont possibles. 

Elles illustrent la question majeure d’un examen complet pour éviter la création de désinformation et de biais, que les modèles acquièrent à travers l’énorme quantité de données avec lesquelles ils sont entraînés.

De plus, la capacité des GMs à produire des mots semblables à ceux des humains a soulevé de nombreuses questions éthiques liées à l’abus d’écriture. Par conséquent, il est encore plus impératif d’avoir des méthodes d’évaluation rigoureuses pour faire face à cela. 

Cela peut miner le pouvoir de la vérité et transformer les canaux rapides en une voie rapide pour partager des mythes, des fausses nouvelles ou même des biais. Par conséquent, cela réduira la qualité de l’information et rendra l’espace numérique plus douteux que jamais auparavant.

RagaAI pionnier des normes éthiques dans le développement de l’IA

L’approche de RagaAI répond à trois dimensions clés cruciales pour la construction d’applications LLM fiables et dignes de confiance : avoir des tests complets couvrant les données, le modèle ainsi que la partie opérationnelle ; utiliser l’évaluation multi-modèles pour promouvoir la robustesse des données incluant images, texte, code, etc., et fournir des recommandations structurées impliquant non seulement la détection de problèmes mais aussi la proposition de solutions scientifiques.

Finalement, les efforts de RagaAI aboutissent à un package open-source visant à fournir des outils d’évaluation faciles pour les LLMs avancés. RagaAI continue sa contribution à l’établissement de procédures standard dans l’IA en rendant le cadre de test complet disponible pour la communauté des développeurs dans son ensemble. Il agit comme un accélérateur d’innovation et stimule la collaboration dans la perfectionnement et l’humanisation des technologies IA.

La mise en œuvre de l’objectif de cette organisation de fournir une solution qui transformera le développement de l’IA, augmentera considérablement la vitesse de développement de l’IA, réduira les coûts d’infrastructure de développement, et garantira que les applications LLM déployées soient performantes, dignes de confiance et sûres, est une démonstration de l’importance d’avoir des mécanismes d’évaluation appropriés dans l’ère actuelle de l’IA.

Histoire originale de :https://www.electronicspecifier.com/products/artificial-intelligence/evaluating-llms-how-and-why