Agentes Modulares Aumentam o Aprendizado de IA, Aprimorando a Tomada de Decisão e a Adaptabilidade
- Sistemas modulares de múltiplos agentes de IA aprimoram o aprendizado e a adaptabilidade na tomada de decisões por IA.
- Subagentes com objetivos específicos levam a um aprendizado mais rápido e melhor adaptação em ambientes em mudança.
- A abordagem modular reflete como os humanos gerenciam necessidades conflitantes, melhorando a tomada de decisões geral nos sistemas de aprendizado de IA.
Entender como e por que os humanos tomam decisões tem sido amplamente estudado em várias disciplinas. Pesquisadores do Instituto de Neurociência de Princeton exploraram a tomada de decisões em aprendizado de máquina e propuseram uma abordagem que melhora os processos tradicionais de agente único. Seu estudo demonstra capacidades aprimoradas de aprendizado de IA e adaptabilidade ao utilizar sistemas de agentes multi-IA modulares.
Os pesquisadores conduziram um estudo comparando abordagens de aprendizado por reforço em sistemas de agente único de IA e sistemas de agentes multi-IA modulares. Os agentes foram treinados em um jogo de sobrevivência em uma grade bidimensional, onde buscavam recursos ocultos e visavam manter níveis de suprimento suficientes.
Abordagem de Agente Único vs. Agente Modular
Na abordagem de agente único, um cérebro unificado autoavaliava cada objetivo passo a passo, aprendendo por tentativa e erro para determinar as melhores soluções. Por outro lado, o agente modular incorporava a entrada de sub-agentes, cada um com objetivos estreitamente definidos e experiências únicas. A entrada coletiva dos sub-agentes era avaliada em um único cérebro, permitindo que o agente fizesse escolhas informadas.
Princípios de necessidades e objetivos conflitantes
Os pesquisadores compararam sua abordagem ao debate de longa data sobre como os indivíduos gerenciam necessidades e objetivos conflitantes. Este debate é prevalente em várias disciplinas científicas, incluindo neurociência, psicologia, economia, sociologia e inteligência artificial. O design do agente modular espelha a competição entre múltiplos agentes modulares, semelhante à forma como as necessidades conflitantes são gerenciadas na tomada de decisões humanas.
Os resultados do estudo mostraram que o agente modular superou a abordagem de agente único. O agente modular aprendeu significativamente mais rápido, alcançando progresso significativo após apenas 5.000 etapas de aprendizado, em comparação com as 30.000 etapas do agente único. Os agentes modulares demonstraram manutenção superior de variáveis internas em ambientes estáticos e em mudança, mantendo a homeostase de forma mais eficaz. Os objetivos limitados dos sub-agentes permitiram que eles se adaptassem mais rapidamente aos desafios ambientais.
Exploração e adaptação no Aprendizado de IA
As ações determinadas por um sub-agente serviam como fonte de exploração para outros dentro do agente modular. Isso facilitava a descoberta de ações valiosas que talvez não tivessem sido escolhidas em um determinado estado. Em contraste, a abordagem monolítica lutava contra a maldição da dimensionalidade, que se refere ao crescimento exponencial de opções à medida que a complexidade do ambiente aumenta. Os agentes modulares, atuando como especialistas com objetivos limitados, focavam em tarefas individuais menores e se adaptavam rapidamente às mudanças ambientais.
As descobertas do estudo sugerem que projetar agentes de forma modular, com sub-agentes separados dedicados a necessidades específicas, melhora significativamente a capacidade geral do agente de satisfazer seus objetivos. A abordagem modular não apenas melhora o aprendizado e a tomada de decisões de IA, mas também fornece insights sobre os conflitos psicológicos inerentes à psique humana.
O uso de agentes modulares em sistemas de IA oferece uma abordagem mais eficaz e adaptável para a tomada de decisões e aprendizado. Ao alavancar os princípios de necessidades e objetivos conflitantes, os agentes modulares demonstram adaptabilidade aprimorada a ambientes em mudança. As descobertas contribuem para uma compreensão mais profunda dos processos de tomada de decisões humanas e abrem caminho para sistemas de IA mais inteligentes e flexíveis no futuro.
Leia mais aqui: Zack Dulberg et al, Ter múltiplos selves ajuda agentes de aprendizado a explorar e se adaptar em mundos complexos e em mudança, Proceedings of the National Academy of Sciences (2023). DOI: 10.1073/pnas.2221180120
As mentes mais inteligentes do setor de criptomoedas já leem nosso boletim informativo. Quer entrar? Junte-se a eles.
Aviso Legal: As informações fornecidas não constituem aconselhamento de negociação. A Cryptopolitan.com não assume responsabilidade por quaisquer investimentos realizados com base nas informações disponibilizadas nesta página. Recomendamos fortemente a realização de pesquisa independente e/ou consulta com um profissional qualificado antes de tomar qualquer decisão de investimento.
John Palmer
John Murangiri chegou à Cryptopolitan com habilidades em análise de mercado. John (também conhecido como JP) formou-se na Universidade de Nairobi com bacharelado em comunicação social e estudos de mídia. Ele já contribuiu anteriormente com insights sobre o mercado de criptomoedas para InsideBitcoins.com e Metacoingraph.
