Esse trabalho apresenta um comparação entre algoritmos de Aprendizado por Reforço com e sem a utilização de heurísticas para aceleração do aprendizado em ambiente simulado e a transferência de conhecimento, através de heurísticas, para o ambiente real. O ambiente de Futebol de Robôs é utilizado como plataforma para os experimentos realizados, pois é um ambiente complexo, dinâmico e não-determinístico. As informações do ambiente foram abstraídas e o conjunto de estados foi definido por regiões, enquanto o conjunto de ações representa diferentes comportamentos de alto nível. Foram efetuados experimentos em ambiente real e simulado. Os testes em ambiente simulado mostraram que heurísticas aceleram o aprendizado significativamente. Para os teste em ambiente real, foi desenvolvido um sistema completo de um time de Futebol de Robôs e o conhecimento adquirido no aprendizado em simulação foi transferido através de heurísticas. Os resultados mostraram que algoritmos de Aprendizado por Reforço acelerados por heurísticas implicam em um melhor desempenho quando comparados com os algoritmos tradicionais de Aprendizado por Reforço
