OpenAI individua nel sistema anti-abuso difettoso la causa della fuoriuscita di crediti di Codex, resetta i limiti per tutti gli utenti a pagamento

OpenAI ha scoperto che gli sviluppatori a pagamento non potevano accedere all'agente di codifica AI per diversi giorni perché una logica di prevenzione delle frodi difettosa aveva esaurito le scorte di crediti di Codex. L'incidente ha comportato tre reset totali dell'utilizzo e ha sollevato nuove preoccupazioni sull'affidabilità degli strumenti AI, che hanno un utilizzo limitato a causa delle loro richieste computazionali.

Thibault Sottiaux, membro del team di ingegneria di Codex, ha documentato l'incidente in diversi post su X il 28 e 29 giugno. Ciò ha spinto il team di Codex a lavorare nel weekend in una “war room” per analizzare i log di sistema e determinare la causa del problema.

Il sistema di prevenzione dell'abuso e delle frodi sistemico è risultato essere la causa della limitazione involontaria della velocità (rate-limiting) degli utenti, come confermato dalla pagina dello stato di OpenAI.

Cosa è andato storto 

Gli sviluppatori hanno iniziato a sperimentare una strana diminuzione dei crediti intorno alla metà di giugno. Entro il 25 giugno, molti sviluppatori si sono rivolti a GitHub e ai social media per segnalare che il consumo di token era significativamente più alto del solito per svolgere le stesse attività. Le dirette streaming di KuCoin News, che hanno utilizzato i dati del sito di monitoraggio Beating come fonte, hanno stimato che l'utilizzo di alcuni account fosse da 10 a 20 volte superiore alla norma.

Coloro che si sono abbonati al piano Pro di OpenAI (200 $/mese) hanno segnalato una rapida esaurimento dei crediti supplementari da 40 $ (ovvero in poche ore). Ci sono stati anche diversi rapporti di budget previsti per 5 ore di programmazione consumati da solo pochi prompt. C'è stato persino un ingegnere del software su X che ha dichiarato di aver bruciato una settimana di utilizzo in un solo giorno, suddiviso in due sessioni.

Sottiaux ha confermato, il 28 giugno, che si trattava di un problema che lo preoccupava e non vi era dubbio sull'entità del problema. “Il team di Codex è in una war room di domenica a setacciare i log e a verificare se ci sia qualcosa che potrebbe portare a un maggiore esaurimento dell'utilizzo per alcuni utenti”, ha scritto. “Lo stiamo prendendo molto sul serio e non ci fermeremo finché non ne avremo le prove.”

Il team di Codex ripristina l'utilizzo con tre reset

OpenAI ha rivelato gradualmente il suo piano per aiutare gli utenti dopo le segnalazioni che Codex veniva utilizzato a un ritmo accelerato. Sottiaux ha effettuato un hard reset di tutti i limiti di utilizzo di Codex entro il 28 giugno, che ha anche resettato i reset precedentemente accumulati dagli utenti (massimo tre). Ha anche promesso di fornire reset manuali a qualsiasi utente ancora interessato.

Il giorno successivo (29 giugno), il team ha scoperto che più vulnerabilità nell'infrastruttura di rate limiting di Codex avevano causato l'utilizzo imprevisto di Codex. È stato effettuato un terzo reset completo e Sottiaux ha pubblicato che tutti gli utenti avrebbero ricevuto un reset bancario aggiuntivo utilizzabile entro 24 ore.

Ha dichiarato di aver ricevuto diverse segnalazioni che Codex veniva utilizzato a un ritmo più veloce del previsto e ha affermato che “non c'era un unico problema centrale”. Le riparazioni preliminari sono state completate in quel momento.

Il momento sfortunato di questo incidente è stato evidenziato da Sottiaux, poiché il sistema di calendario di OpenAI aveva lo stesso periodo contrassegnato come “RESET week” per un'iniziativa non correlata.

I limiti di compute mettono sotto stress i flussi di lavoro di codifica AI

Il problema di Codex si verifica in un momento in cui si nota una restrizione significativa dell'accesso al compute da parte delle aziende di IA. A marzo, ci sono stati due problemi significativi riguardanti le limitazioni d'uso da parte di Anthropic con il suo prodotto Claude a causa di un utilizzo ad alto volume.

Inoltre, durante lo stesso mese, c'è stata un'interruzione di Claude a causa di un bug che ha causato un outage, il che ha fatto realizzare a molti sviluppatori professionisti quanto siano diventati dipendenti dall'uso di un prodotto basato su AI per assistere nella loro codifica; molti si sono lamentati pubblicamente di dover programmare manualmente a causa della mancanza di accesso.

OpenAI ha anche registrato un'interruzione separata di Codex a giugno, dove solo tre giorni prima avevano sperimentato tre problemi di stabilità verificatisi in un periodo di 24 ore che hanno costretto Sottiaux a modificare i limiti di utilizzo su tutti i piani a pagamento, dicendo agli utenti “May the tokens flow again”.

Man mano che il mercato evolve, si è creata una chiara tensione strutturale tra le aziende di IA, che stanno iniziando a eliminare la tariffazione illimitata basata sulle fee, poiché la domanda di compute di tipo inference supera di gran lunga la capacità.

OpenAI ha implementato un sistema di tipo bank-reset il 12 giugno che consente agli utenti di prodotti basati su Codex sui piani di abbonamento Go, Plus, Pro e Business di avviare un reset manuale della propria quota e di utilizzarlo a propria discrezione, riconoscendo che le rigide finestre di attesa sono frustranti per gli sviluppatori quando sono nel mezzo del loro lavoro. Tuttavia, come dimostrato dal bug di fuoriuscita di crediti, questo dimostra anche che la misurazione è un componente critico di un tale sistema.

Gli sviluppatori che cercano di creare processi di lavoro che incorporano assistenti di codifica basati su AI continueranno a essere limitati dalle molteplici interruzioni di utilizzo nello sviluppo di piani futuri. Gli sviluppatori che pianificano il proprio tempo in base alle finestre di utilizzo stabilite (qualcosa che è stato segnalato da Business Insider e sta diventando sempre più la norma) continueranno ad avere una produttività persa cumulata.

OpenAI continuerà a monitorare la situazione e fornirà ulteriori aggiornamenti dopo il completamento del processo di indagine.