OpenAI OpenAI, Sam Altman, lançou uma campanha global para conscientizar sobre os potenciais perigos da superinteligência artificial, em que as máquinas superam a inteligência humana e podem se tornar incontroláveis.
Em resposta a essas preocupações, a OpenAI anunciou recentemente a formação de uma equipe dedicada, encarregada de desenvolver métodos para lidar com os riscos associados à superinteligência, que pode surgir nesta década.
A empresa enfatiza que gerenciar eficazmente a superinteligência exige o estabelecimento de novas instituições de governança e a solução do desafio crucial de alinhar a superinteligência aos valores e intenções humanas.
A OpenAI reconhece que o alinhamento da IAG (Inteligência Artificial Geral) representa riscos significativos para a humanidade e pode exigir um esforço coletivo de toda a humanidade, conforme declarado em uma postagem de blog publicada no ano passado.
A equipe recém-formada, batizada de “Superalinhamento”, é composta por pesquisadores e engenheiros de ponta em aprendizado de máquina. Ilya Sutskever, cofundador e cientista-chefe da OpenAI, e Jan Leike, chefe de alinhamento, estão liderando esse projeto.
Para enfrentar os principais desafios técnicos do alinhamento da superinteligência, a OpenAI se comprometeu a dedicar 20% de seus recursos computacionais adquiridos até o momento ao problema do alinhamento. A empresa prevê que, dentro de quatro anos, esses desafios serão resolvidos.
O principal objetivo da equipe de Superalinhamento é desenvolver um pesquisador de alinhamento automatizado com capacidade semelhante à humana. Isso implica na criação de sistemas de IA que possam alinhar com eficácia sistemas de IA superinteligentes, superando os humanos em velocidade e precisão.
Para atingir esse marco, a equipe se concentrará no desenvolvimento de um método de treinamento escalável que utiliza sistemas de IA para avaliar outros sistemas de IA. Eles validarão o modelo resultante automatizando a busca por comportamentos potencialmentematic . O pipeline de alinhamento também será submetido a testes de estresse rigorosos, treinando deliberadamente modelos desalinhados para avaliar sua detectabilidade.
Os esforços da OpenAI para lidar com os riscos da superinteligência representam um avanço significativo na busca por um desenvolvimento de IA responsável e alinhado. Ao reunir uma equipe de pesquisadores de ponta e investir recursos computacionais substanciais, a empresa demonstra seu compromisso em mitigar proativamente os riscos potenciais associados ao advento da superinteligência. Ao embarcar nessa jornada ambiciosa, a OpenAI estabelece umdent de colaboração e união na salvaguarda do futuro da humanidade na era da IA.
