OpenAI lança equipe de 'superalinhamento' para enfrentar os riscos da superinteligência de frente

O CEO da OpenAI, Sam Altman, embarcou em uma campanha global para aumentar a conscientização sobre os perigos potenciais da superinteligência artificial, onde as máquinas superam a inteligência humana e podem se tornar incontroláveis.

Em resposta a essas preocupações, a OpenAI anunciou recentemente a formação de uma equipe dedicada a desenvolver métodos para abordar os riscos associados à superinteligência, que podem emergir nesta década.

A empresa enfatiza que gerir eficazmente a superinteligência requer o estabelecimento de novas instituições de governança e a resolução do desafio crítico de alinhar a superinteligência com os valores e intenções humanos.

A OpenAI reconhece que alinhar a AGI (Inteligência Artificial Geral) apresenta riscos significativos para a humanidade e pode exigir um esforço coletivo de toda a humanidade, conforme declarado em um post de blog lançado no ano passado.

Batizada de “Superalinhamento”, a nova equipe é composta por pesquisadores e engenheiros de primeira linha em aprendizado de máquina. Ilya Sutskever, co-fundador e cientista-chefe da OpenAI, e Jan Leike, chefe de alinhamento, estão guiando este empreendimento.

Para enfrentar os desafios técnicos centrais do alinhamento da superinteligência, a OpenAI comprometeu-se a dedicar 20% de seus recursos computacionais adquiridos até agora ao problema do alinhamento. A empresa prevê que, dentro de quatro anos, resolverá esses desafios.

O objetivo principal da equipe de Superalinhamento é desenvolver um pesquisador de alinhamento automatizado de nível humano. Isso envolve criar sistemas de IA que possam alinhar eficazmente sistemas de superinteligência artificial, superando os humanos em velocidade e precisão.

Para alcançar essa meta, a equipe focará no desenvolvimento de um método de treinamento escalável que utilize sistemas de IA para avaliar outros sistemas de IA. Eles validarão seu modelo resultante automatizando a busca por comportamentos potencialmente problemáticos. O pipeline de alinhamento também passará por testes de estresse rigorosos, treinando deliberadamente modelos desalinhados para avaliar sua detectabilidade.

Os esforços da OpenAI para abordar os riscos da superinteligência marcam um passo significativo em direção ao desenvolvimento de IA responsável e alinhada. Ao montar uma equipe de pesquisadores de topo e comprometer recursos computacionais substanciais, a empresa demonstra seu compromisso em mitigar proativamente os riscos potenciais associados ao advento da superinteligência. Ao embarcar nesta jornada ambiciosa, a OpenAI estabelece um precedente de colaboração e unidade na proteção do futuro da humanidade na era da IA.