Aprendizado por reforço acelerado por heurísticas no domínio do futebol de robôs simulado
Carregando...
Arquivos
Citações na Scopus
Tipo de produção
Dissertação
Data
2007
Autores
Celiberto Jr., L. A.
Orientador
Bianchi, Reinaldo Augusto da Costa
Periódico
Título da Revista
ISSN da Revista
Título de Volume
Citação
CELIBERTO JR., L. A. Aprendizado por reforço acelerado por heurísticas no domínio do futebol de robôs simulado. 2007. 122 f.. Dissertação (Mestrado em Engenharia Elétrica) - Centro Universitário da Fei, São Bernardo do Campo, 2007 Disponível em: . Acesso em: 3 fev. 2009.
Texto completo (DOI)
Palavras-chave
Inteligência artificial,Robótica
Resumo
O aprendizado por reforço é uma técnica muito conhecida para a solução de problemas quando o agente precisa atuar com sucesso em um local desconhecido por meio de tentativa e erro. Porém, esta técnica não é eficiente o bastante para ser usada em aplicações com exigências do mundo real, devido ao tempo que o agente leva para aprender. Este trabalho apresenta o uso do Aprendizado por Reforço acelerado por heurísticas, no domínio da robótica móvel, utilizando para testes a plataforma do Robocup 2D simulação. Esta plataforma vem sendo usada cada dia mais no meio científico, a qual possiblita fazer inúmeros experimentos com jogadores virtuais, sem sofrer com problemas que comumente são encontrados em sistemas reais, além de manterem sempre as mesmas características de ambiente. O principal problema abordado neste trabalho é o uso da aceleração por heurísticas no Aprendizado por Reforço. Porém esta aceleração só é possível se primeiro for resolvido o problema de como desenvolver um sistema com Aprendizado por Reforço no Robocup 2D. Tal sistema apresenta diversos desafios, sendo o maior deles o tamanho do ambiente, o que gera grande dificuldade para um agente aprender uma política de decisões. Para solucionar este problema forma propostas formas de generalizar os estados, sem causar qualquer interferência no aprendizado. As experiências realizadas foram feitas sem o uso das heurísticas e depois com o uso das heurísticas. para a validação do trabalho, cada experimento foi repetido dez vezes, e seus resultados médios comparados através de uma análise estatística. Os resultados indicam algumas vantagens no uso das heurísticas, possibilitando a definição de algumas diretrizes importantes para a aplicação do uso de heurísticas no domínio do futebol de robôs simulado.
The Reinforcement Learning is a very well known technique for the solution of problems when the agent needs to act with sucess in an unknown place through trial and error. However, this technique is not efficient enough to be used in applications with demands of the heuristics accelerated reinforcement learning in the domain of the movable robotics, using for tests the platform of RoboCup 2D simulation. This platform has been used every day more in the scientific way, it makes possible to do countless experiments with virtual players, without suffering of problems that commonly are found in real systems, besides they always maintain the same characteristics of the ambient. The main problem approached in this work is the use of the heuristics accelerated reinforcement learning. However this acceleration is only possible if first the problem be solved of how to develop a system with Reinforcement Learning in RoboCup 2D. Such system presents several challenges, being the largest the size of the ambient generating great difficulty for an agent to learn a politics of decisions. To solve this problem forms they were proposed of generalizing the states, without causing any loss in the learning. The accomplished experiences were made without the use of the heuristics and later with the use of the heuristics. For the validation of the work, each experiment was repeated ten times, and their medium results compared through a statistical analysis. The results indicate some advantages in the use of the heuristics, making possible the definition of some important guidelines for the application of the use of heuristics in the domain of the simulated soccer of robots.
The Reinforcement Learning is a very well known technique for the solution of problems when the agent needs to act with sucess in an unknown place through trial and error. However, this technique is not efficient enough to be used in applications with demands of the heuristics accelerated reinforcement learning in the domain of the movable robotics, using for tests the platform of RoboCup 2D simulation. This platform has been used every day more in the scientific way, it makes possible to do countless experiments with virtual players, without suffering of problems that commonly are found in real systems, besides they always maintain the same characteristics of the ambient. The main problem approached in this work is the use of the heuristics accelerated reinforcement learning. However this acceleration is only possible if first the problem be solved of how to develop a system with Reinforcement Learning in RoboCup 2D. Such system presents several challenges, being the largest the size of the ambient generating great difficulty for an agent to learn a politics of decisions. To solve this problem forms they were proposed of generalizing the states, without causing any loss in the learning. The accomplished experiences were made without the use of the heuristics and later with the use of the heuristics. For the validation of the work, each experiment was repeated ten times, and their medium results compared through a statistical analysis. The results indicate some advantages in the use of the heuristics, making possible the definition of some important guidelines for the application of the use of heuristics in the domain of the simulated soccer of robots.