OpenAI fera progresser les modèles d’IA o1 et o3 avec un nouveau paradigme de formation à la sécurité
- OpenAI présente les modèles o3 avec une nouvelle formation à la sécurité via « l'alignement délibératif », améliorant l'alignement du raisonnement de l'IA avec les valeurs des développeurs.
- L'alignement délibératif réduit les réponses considérées comme dangereuses en incitant les modèles à s'auto-réguler et à rappeler les politiques de sécurité pendant le processus de réflexion.
- Les modèles o1 et o3 surpassent GPT-4o, Gemini 1.5 Flash et Claude 3.5 Sonnet dans leur résistance aux jailbreaks courants et aux sorties non sécurisées lors des tests de benchmark.
Vendredi, OpenAI a annoncé la sortie d’une nouvelle famille de modèles d’IA, baptisée o3. L’entreprise affirme que les nouveaux produits sont plus avancés que ses modèles précédents, y compris o1. Les avancées, selon la startup, découlent d’améliorations dans la mise à l’échelle du calcul au moment du test, un sujet exploré ces derniers mois, et de l’introduction d’un nouveau paradigme de sécurité qui a été utilisé pour entraîner ces modèles.
Dans le cadre de son engagement continu à améliorer la sécurité de l’IA, OpenAI a partagé une nouvelle recherche détaillant la mise en œuvre de l’« alignement délibératif ». La nouvelle méthode de sécurité vise à garantir que les modèles de raisonnement de l’IA sont alignés sur les valeurs définies par leurs développeurs.
Cette approche, prétend OpenAI, a été utilisée pour améliorer l’alignement des modèles o1 et o3 en les guidant pour qu’ils réfléchissent aux politiques de sécurité d’OpenAI pendant la phase d’inférence. La phase d’inférence est la période après qu’un utilisateur a soumis une invite au modèle et avant que le modèle ne génère une réponse.
Dans sa recherche, OpenAI note que l’alignement délibératif a conduit à une réduction du taux auquel les modèles produisaient des réponses « dangereuses » ou des réponses que l’entreprise considère comme une violation de ses politiques de sécurité, tout en améliorant la capacité des modèles à répondre plus efficacement aux questions bénignes.
Comment fonctionne l’alignement délibératif
Au cœur du processus, les modèles se réinvitent eux-mêmes pendant la phase de chaîne de pensée. Après qu’un utilisateur a soumis une question à ChatGPT, par exemple, les modèles de raisonnement de l’IA mettent entre quelques secondes et plusieurs minutes pour décomposer le problème en étapes plus petites.
Les modèles génèrent ensuite une réponse basée sur leur processus de réflexion. Dans le cas de l’alignement délibératif, les modèles intègrent la politique de sécurité d’OpenAI dans cette « délibération » interne.
OpenAI a entraîné ses modèles, y compris o1 et o3, à rappeler des sections de la politique de sécurité de l’entreprise dans le cadre de ce processus de chaîne de pensée. Cela a été fait pour s’assurer que lorsqu’ils sont confrontés à des requêtes sensibles ou dangereuses, les modèles se régulent eux-mêmes et refusent de fournir des réponses qui pourraient causer des dommages.
Cependant, la mise en œuvre de cette fonctionnalité de sécurité s’est révélée difficile, car les chercheurs d’OpenAI ont dû s’assurer que les contrôles de sécurité ajoutés n’avaient pas d’impact négatif sur la vitesse et l’efficacité des modèles.
Un exemple fourni dans la recherche d’OpenAI, cité par TechCrunch, a démontré comment les modèles utilisent l’alignement délibératif pour répondre en toute sécurité à des demandes potentiellement nuisibles. Dans l’exemple, un utilisateur demande comment créer un badge de stationnement réaliste pour personne handicapée.
Pendant la chaîne de pensée interne du modèle, le modèle rappelle la politique de sécurité d’OpenAI, reconnaît que la demande implique une activité illégale (fausser un badge de stationnement) et refuse d’aider, s’excusant pour son refus.
Ce type de délibération interne est une partie clé de la façon dont OpenAI travaille à aligner ses modèles avec les protocoles de sécurité. Au lieu de simplement bloquer toute invite liée à un sujet sensible comme « bombe », par exemple, ce qui restreindrait excessivement les réponses du modèle, l’alignement délibératif permet à l’IA d’évaluer le contexte spécifique de l’invite et de prendre une décision plus nuancée sur la réponse à fournir ou non.
En plus des avancées en matière de sécurité, OpenAI a également partagé les résultats de tests de benchmarking qui ont montré l’efficacité de l’alignement délibératif dans l’amélioration des performances des modèles. Un benchmark, connu sous le nom de Pareto, mesure la résistance d’un modèle aux jailbreaks courants et aux tentatives de contournement des garde-fous de l’IA.
Lors de ces tests, le modèle o1-preview d’OpenAI a surpassé d’autres modèles populaires tels que GPT-4o, Gemini 1.5 Flash et Claude 3.5 Sonnet en termes d’évitement des sorties dangereuses.
L’autorité italienne de protection des données amende OpenAI pour violations de la vie privée
Dans un développement séparé mais connexe, OpenAI a été amende de 15 millions d’euros (15,58 millions de dollars) par l’agence italienne de protection des données, Garante, à la suite d’une enquête sur la gestion des données personnelles par l’entreprise.
L’amende découle de la constatation de l’agence selon laquelle OpenAI a traité les données personnelles des utilisateurs sans base légale, violant les obligations de transparence et d’information des utilisateurs requises par les lois européennes sur la confidentialité.
Selon Reuters, l’enquête, qui a commencé en 2023, a également révélé qu’OpenAI ne disposait pas d’un système de vérification de l’âge adéquat, exposant potentiellement les enfants de moins de 13 ans à du contenu généré par l’IA inapproprié.
Garante, l’un des régulateurs de l’IA les plus stricts de l’Union européenne, a ordonné à OpenAI de lancer une campagne publique de six mois en Italie pour sensibiliser aux pratiques de collecte de données de ChatGPT, en particulier son utilisation des données personnelles pour entraîner les algorithmes.
En réponse, OpenAI a qualifié l’amende de « disproportionnée » et a indiqué son intention d’en faire appel. L’entreprise a également critiqué l’amende comme étant excessivement grande par rapport à ses revenus en Italie pendant la période concernée.
Garante a également noté que l’amende a été calculée en tenant compte de la « position coopérative » d’OpenAI, ce qui signifie qu’elle aurait pu être plus élevée si l’entreprise n’avait pas été considérée comme coopérative pendant l’enquête.
Cette dernière amende n’est pas la première fois qu’OpenAI fait face à un examen en Italie. L’année dernière, Garante a brièvement interdit l’utilisation de ChatGPT en Italie en raison d’allégations de violations des règles de confidentialité de l’UE. Le service a été rétabli après qu’OpenAI a répondu aux préoccupations, y compris en permettant aux utilisateurs de refuser leur consentement pour l’utilisation de leurs données personnelles afin d’entraîner les algorithmes.
Ne vous contentez pas de lire les actualités crypto. Comprenez-les. Abonnez-vous à notre newsletter. C'est gratuit.
Avertissement. Les informations fournies ne constituent pas des conseils en matière d'investissement. Cryptopolitan.com ne saurait être tenue responsable des investissements réalisés sur la base des informations fournies sur cette page. Nous recommandons vivement de mener vos propres recherches et/ou de consulter un professionnel qualifié avant de prendre toute décision d'investissement.
Florence Muchai
Florence couvre depuis 6 ans l'actualité crypto, du jeu vidéo, de la technologie et de l'IA. Ses études en informatique à l'Université de sciences et technologies de Meru et sa formation en gestion des catastrophes et en diplomatie internationale à l'MMUST lui ont amplement permis de développer des compétences linguistiques, d'observation et techniques. Florence a travaillé au sein du groupe VAP et en tant qu'éditrice pour plusieurs médias spécialisés dans la crypto.
