A OpenAI avançará os modelos de IA o1 e o3 com um novo paradigma de treinamento de segurança

Na sexta-feira, a OpenAI anunciou o lançamento de uma nova família de modelos de IA, apelidada de o3. A empresa afirma que os novos produtos são mais avançados do que seus modelos anteriores, incluindo o o1. Os avanços, de acordo com a startup, decorrem de melhorias na escala de computação em tempo de teste, um tópico que foi explorado nos últimos meses, e da introdução de um novo paradigma de segurança que foi usado para treinar esses modelos.

Como parte de seu compromisso contínuo com a melhoria da segurança da IA, a OpenAI compartilhou uma nova pesquisa detalhando a implementação do “alinhamento deliberativo”. O novo método de segurança visa garantir que os modelos de raciocínio da IA estejam alinhados com os valores definidos por seus desenvolvedores.

Essa abordagem, afirma a OpenAI, foi usada para melhorar o alinhamento dos modelos o1 e o3, orientando-os a pensar nas políticas de segurança da OpenAI durante a fase de inferência. A fase de inferência é o período após um usuário enviar um prompt ao modelo e antes que o modelo gere uma resposta. 

Em sua pesquisa, a OpenAI observa que o alinhamento deliberativo levou a uma redução na taxa na qual os modelos produziam respostas “inseguras” ou respostas que a empresa considera uma violação de suas políticas de segurança, ao mesmo tempo em que melhorava a capacidade dos modelos de responder a perguntas benignas de forma mais eficaz.

Como funciona o alinhamento deliberativo 

Em seu núcleo, o processo funciona fazendo com que os modelos se repitam durante a fase de cadeia de pensamento. Após um usuário enviar uma pergunta ao ChatGPT, por exemplo, os modelos de raciocínio da IA levam de alguns segundos a vários minutos para decompor o problema em etapas menores. 

Os modelos então geram uma resposta com base em seu processo de pensamento. No caso do alinhamento deliberativo, os modelos incorporam a política de segurança da OpenAI como parte dessa “deliberação” interna.

A OpenAI treinou seus modelos, incluindo o1 e o3, para lembrar seções da política de segurança da empresa como parte desse processo de cadeia de pensamento. Isso foi feito para garantir que, ao enfrentar consultas sensíveis ou inseguras, os modelos se autorregulassem e se recusassem a fornecer respostas que pudessem causar danos. 

No entanto, implementar esse recurso de segurança provou ser desafiador, pois os pesquisadores da OpenAI tiveram que garantir que as verificações de segurança adicionais não impactassem negativamente a velocidade e a eficiência dos modelos.

Um exemplo fornecido na pesquisa da OpenAI, citado pela TechCrunch, demonstrou como os modelos usam o alinhamento deliberativo para responder com segurança a solicitações potencialmente prejudiciais. No exemplo, um usuário pergunta como criar um crachá de estacionamento realista para uma pessoa com deficiência.

Durante a cadeia de pensamento interna do modelo, o modelo lembra a política de segurança da OpenAI, reconhece que a solicitação envolve atividade ilegal (forjar um crachá de estacionamento) e se recusa a ajudar, pedindo desculpas por sua recusa.

Este tipo de deliberação interna é uma parte chave de como a OpenAI está trabalhando para alinhar seus modelos com os protocolos de segurança. Em vez de simplesmente bloquear qualquer prompt relacionado a um tópico sensível como “bomba”, por exemplo, o que restringiria excessivamente as respostas do modelo, o alinhamento deliberativo permite que a IA avalie o contexto específico do prompt e tome uma decisão mais matizada sobre se deve ou não responder.

Além dos avanços em segurança, a OpenAI também compartilhou resultados de testes de benchmarking que mostraram a eficácia do alinhamento deliberativo na melhoria do desempenho do modelo. Um benchmark, conhecido como Pareto, mede a resistência de um modelo a jailbreaks comuns e tentativas de contornar as salvaguardas da IA. 

Nesses testes, o modelo o1-preview da OpenAI superou outros modelos populares, como GPT-4o, Gemini 1.5 Flash e Claude 3.5 Sonnet, em termos de evitar saídas inseguras.

Autoridade de proteção de dados da Itália multa a OpenAI por violações de privacidade 

Em um desenvolvimento separado, mas relacionado, a OpenAI foi multada em 15 milhões de euros (US$ 15,58 milhões) pela agência de proteção de dados da Itália, o Garante, após uma investigação sobre o tratamento de dados pessoais pela empresa. 

A multa decorre da constatação da agência de que a OpenAI processou dados pessoais dos usuários sem base legal, violando as obrigações de transparência e informação ao usuário exigidas pelas leis de privacidade da UE.

De acordo com a Reuters, a investigação, que começou em 2023, também revelou que a OpenAI não tinha um sistema adequado de verificação de idade em vigor, potencialmente expondo crianças menores de 13 anos a conteúdo gerado por IA inadequado. 

O Garante, um dos reguladores de IA mais rigorosos da União Europeia, ordenou que a OpenAI lançasse uma campanha pública de seis meses na Itália para aumentar a conscientização sobre as práticas de coleta de dados do ChatGPT, especialmente seu uso de dados pessoais para treinar algoritmos.

Em resposta, a OpenAI descreveu a multa como “desproporcional” e indicou sua intenção de recorrer da decisão. A empresa criticou ainda mais a multa por ser excessivamente grande em relação à sua receita na Itália durante o período relevante. 

O Garante também observou que a multa foi calculada considerando a “atitude cooperativa” da OpenAI, o que significa que poderia ter sido maior se a empresa não tivesse sido vista como cooperativa durante a investigação.

Esta multa mais recente não é a primeira vez que a OpenAI enfrentou escrutínio na Itália. No ano passado, o Garante brevemente banira o uso do ChatGPT na Itália devido a supostas violações das regras de privacidade da UE. O serviço foi restabelecido após a OpenAI abordar as preocupações, incluindo permitir que os usuários se recusassem a dar consentimento para o uso de seus dados pessoais para treinar algoritmos.