Análise de métodos de reconhecimento de comportamento humano em ambientes domésticos utilizando sensores RGB+D
Carregando...
Arquivos
Citações na Scopus
Tipo de produção
Dissertação
Data
2021
Autores
Grassl, E. de B.
Orientador
Aquino Junior, Plínio T.
Periódico
Título da Revista
ISSN da Revista
Título de Volume
Citação
GRASSL, E. de B. Análise de métodos de reconhecimento de comportamento humano em ambientes domésticos utilizando sensores RGB+D. São Bernardo do Campo, 2021. 90 f. Dissertação (Mestrado em Engenharia Elétrica) - Centro Universitário FEI, São Bernardo do Campo, 2021 Disponível em: https://doi.org/10.31414/EE.2021.D.131338.
Texto completo (DOI)
Palavras-chave
reconhecimento de ações humanas,kinect,graph convolutional networks
Resumo
trabalho proposto busca realizar uma revisão bibliográfica para levantar as bases de dados e reconhecedores de ações estado da arte na literatura recente, além de selecionar dois reconhecedores para compará-los. De acordo com o estudo realizado, os reconhecedores baseados em esqueletos 3D se mostraram promissores e os dois com maior desempenho foram selecionados: MS-G3D e Shift-GCN. Por outro lado, as bases de dados escolhidas foram a NTU RGB+D 120, com 11480 amostras e 120 classes, e a NTU RGB+D HOME, obtida por
um subconjunto da NTU RGB+D 120 de 23784 amostras e 25 classes com o foco em ações realizadas em ambientes domésticos ou relacionadas à saúde. Assim, 12 configurações dos reconhecedores selecionados foram criadas e comparadas nas bases de dados propostas pelos métodos cross-subject e cross-setup, onde todas mostraram desempenhos estado da arte de até 85,80% para a base de dados NTU RGB+D 120 e até 84,32% para a NT RGB+D HOME. Além
disso, foi possível observar que os reconhecedores baseados em esqueletos 3D são mais robustos em relação a ambientes e perspectivas diferentes e que as informações das arestas entre as
juntas ou as movimentação entre as juntas dos esqueletos 3D em frames adjacentes resultaram em um maior desempenho dos reconhecedores. Por último, é possível observar que a fusão dos
resultados de reconhecedores treinados com informações diferentes pode trazer um aumento considerável de seus desempenhos. Espera-se que o estudo realizado neste trabalho pode ser utilizado para guiar outros pesquisadores para a seleção de bases de dados e reconhecedores de ações, além de auxiliar a equipe do programa RoboFEI@HOME a incrementar a plataforma robótica HERA com capacidades de reconhecimento de comportamento humano.
The purpose of this project is to review the bibliography in order to understand the characteristics of the state-of-the-art databases and recognition methods for human action and to evaluate two of the studied methods. According to the recent literature, the 3D skeleton based methods have shown promising results, thus the two methods with better performance were selected: MS-G3D and Shift-GCN. On the other hand, to train these methods, the NTU RGB+D 120 database, composed by 114480 samples from 120 classes, and the NTU RGB+D HOME, composed by 23784 samples and 25 classes from a subset of the NTU RGB+D 120 database, where selected. Twelve configurations of the MS-G3D and Shift-GCN where created and evaluated in the proposed databases by the cross-subject and cross-setup methods where state-of-the-art performance was achieved with results up to 85,80% and 84,32% for the NTU RGB+D 120 and NTU RGB+D HOME databases, respectively. Furthermore, the 3D skeleton bases methods achieved a better performance on the cross-setup evaluation where different environments and view points where tested. Also, the configurations trained with bone information and joint motion information presented higher performance. At last, the results indicate that fusion from models trained with different information such as joint, bone, joint motion and bone motion information can achieve a better recognition performance. It is expected that this project may be used by other researchers as a guide in the process of choosing database or methods for human action recognition, and also help the roboFEI@HOME team to increment their robot platform named HERA with human action recognition capabilities.
The purpose of this project is to review the bibliography in order to understand the characteristics of the state-of-the-art databases and recognition methods for human action and to evaluate two of the studied methods. According to the recent literature, the 3D skeleton based methods have shown promising results, thus the two methods with better performance were selected: MS-G3D and Shift-GCN. On the other hand, to train these methods, the NTU RGB+D 120 database, composed by 114480 samples from 120 classes, and the NTU RGB+D HOME, composed by 23784 samples and 25 classes from a subset of the NTU RGB+D 120 database, where selected. Twelve configurations of the MS-G3D and Shift-GCN where created and evaluated in the proposed databases by the cross-subject and cross-setup methods where state-of-the-art performance was achieved with results up to 85,80% and 84,32% for the NTU RGB+D 120 and NTU RGB+D HOME databases, respectively. Furthermore, the 3D skeleton bases methods achieved a better performance on the cross-setup evaluation where different environments and view points where tested. Also, the configurations trained with bone information and joint motion information presented higher performance. At last, the results indicate that fusion from models trained with different information such as joint, bone, joint motion and bone motion information can achieve a better recognition performance. It is expected that this project may be used by other researchers as a guide in the process of choosing database or methods for human action recognition, and also help the roboFEI@HOME team to increment their robot platform named HERA with human action recognition capabilities.