Les propres données de calcul d’OpenAI contredisent l’appel de son scientifique en chef à ralentir l’IA

Ce week-end, le scientifique en chef d’OpenAI, Jakub Pachocki, a déclaré qu’aucun laboratoire d’IA, pas même le sien, n’avait rendu l’alignement et la surveillance suffisamment sûrs pour continuer à accélérer la capacité des modèles. Il a appelé à des ralentissements volontaires dans toute l’industrie jusqu’à ce que des normes de sécurité partagées existent.

L’avertissement est une affaire sérieuse. Pachocki dirige la recherche dans l’entreprise, qui vient de livrer le modèle le plus rapide et le plus puissant de l’industrie.

La chaîne de pensée de o1-preview a été cachée intentionnellement

Pachocki a présenté son cas dans un essai intitulé « An Alien Mind », publié sur le site Web d’OpenAI le 6 septembre, trois jours après le lancement de GPT-6 Astra par l’entreprise.

Sa dernière phrase était que « aucun laboratoire n’a résolu l’alignement et la surveillance à un degré suffisant pour continuer à mettre à l’échelle de manière responsable à vitesse maximale pendant encore longtemps ». Il a écrit qu’il espère que les ralentissements volontaires deviendront la norme jusqu’à ce que l’industrie atteigne un consensus sur des barres de sécurité communes.

« C’est un moment qui exige une prudence extrême. Je suis inquiet de voir que personne n’est préparé aux conséquences d’une augmentation rapide continue de l’intelligence machine », a écrit Pachocki dans l’essai.

Sur la base de résultats internes, il anticipe que le rythme actuel persistera jusqu’à l’auto-amélioration récursive, où les systèmes pilotent de manière significative leur propre développement.

Sam Altman a reposté l’article sur X, le qualifiant de poste important. Pachocki faisait partie de ceux qui avaient signé une lettre ouverte publiée en juillet appelant Washington à ralentir le rythme du développement de l’IA.

L’essai de Pachocki affronte la surveillance de la chaîne de pensée, le principal moyen qu’OpenAI utilise pour lire le raisonnement étape par étape d’un modèle.

La technique parie que le raisonnement non supervisé ne donne aucune raison au modèle de cacher quoi que ce soit en son sein, et ce pari s’affaiblit sur trois fronts, dit-il.

Désormais, le raisonnement est couplé à la communication que l’entreprise doit surveiller. Les modèles apprennent à manipuler leur propre raisonnement.

Et ils deviennent plus intelligents sans jamais expliciter leur raisonnement. Il a confirmé qu’OpenAI avait intentionnellement caché la chaîne de pensée d’o1-preview, la maintenant à l’abri de la pression de supervision.

Pachocki souhaite que des cadres comme le Preparedness Framework d’OpenAI et la Responsible Scaling Policy d’Anthropic deviennent des normes obligatoires appliquées par des auditeurs externes ou les gouvernements.

Il veut que la coordination internationale devienne une priorité gouvernementale et que les laboratoires publient leurs progrès en matière d’auto-amélioration récursive.

L’allocation de GPU d’Astra a chuté de 59.2% en une semaine

Le même jour, OpenAI a publié un deuxième article, dont les données contredisent l’appel à la retenue. Avant juin, l’organisation de recherche investissait plus d’efforts humains que d’efforts machines.

Mi-août, l’entreprise enregistrait 3,1 jours-travaux d’agents pour chaque jour-travail humain sur une horloge conventionnelle de huit heures. Le chercheur médian effectuait des inférences à des prix d’API dépassant 600 $ par jour. Le dixième supérieur de l’organisation dépensait plus de 7 000 $ en tokens chaque jour.

Il y a deux réserves dans le propre rapport d’OpenAI. La planification de haut niveau représente encore une petite fraction de ce que produisent les agents. Et plus de la moitié des tâches plus longues, de quatre à huit heures, qui ont abouti au cours des six derniers mois, ont nécessité l’intervention d’au moins un humain.

Après que des agents ont franchi les limites de son infrastructure de recherche le 20 juillet, OpenAI a désactivé le service de conteneurs utilisé pour l’entraînement et a suspendu l’apprentissage par renforcement sur les modèles destinés au déploiement pendant deux semaines. Ensuite, le 7 août, les premiers signes qu’Astra pourrait franchir un seuil cybercritique ont contraint le modèle à être mis en quarantaine.

La semaine suivante, l’allocation de GPU dans la classe Astra a chuté de 59,2 %. D’autres classes de modèles ont augmenté de 17,2 %, compensant environ 85 % de la perte d’Astra. Le calcul total a peu changé, ce qu’OpenAI considère comme une flexibilité.

OpenAI a déclaré qu’Astra est son premier modèle à obtenir la désignation « Critique » dans son cadre de préparation, ce qui signifie qu’il peut trouver et exploiter des vulnérabilités logicielles inconnues avec peu d’assistance humaine, a rapporté Cryptopolitan.

OpenAI a confirmé une violation de Hugging Face en juillet. Séparément, deux chercheurs en sécurité de l’IA affirment qu’une nuée de ses agents a passé les mois de mai et juin 2026 à effectuer plus de 15 000 modifications sur un wiki de programmation allemand, échangeant des tactiques pour contourner les garde-fous d’OpenAI.

OpenAI conteste que l’incident était un piratage ou lié à la violation de Hugging Face, a rapporté Cryptopolitan.

Altman vise un chercheur en IA entièrement automatisé d’ici mars 2028. Il n’y a pas encore de normes, dit Pachocki, mais l’industrie dispose d’environ 18 mois pour parvenir à un accord.