Processamento de Sinais e Imagens

URI Permanente desta comunidade

https://repositorio.fei.edu.br/handle/FEI/718

Navegar

Navegando Processamento de Sinais e Imagens por Assunto "Arquitetura transformer"

Agora exibindo 1 - 1 de 1
  • Imagem de Miniatura
    Dissertação
    Aplicação da arquitetura transformer para sumarização de artigoscientíficos
    (2023) Lima, Amanda Maciel de
    O processo de pesquisa científica tem como sua fase inicial a exploração de artigos para o conhecimento do estado da arte do tema a ser investigado. Em virtude do crescimento de dados em artigos científicos e do curso constante da informatização, tornam-se necessários mecanismos que sejam capazes de resumir artigos científicos com a finalidade de melhorar o processo de aquisição de pesquisas e direcionar a pessoa pesquisadora a acessar conteúdos relevantes. Os trabalhos de sumarização de artigos científicos, de modo geral, apresentam métodos de relevância de sentenças e aprendizado de máquina. Nos últimos anos, mecanismos de atenção associados a redes neurais e processamento de linguagem natural vêm sendo propostos para interpretare contextualizar atividades de processamento de linguagens, sendo uma delas a textual. Paralelamente, a arquitetura Transformer sugere uma modelagem de transdução com mecanismos de autoatenção - prescindindo de convoluções e recorrências - é aplicada a diversos campos da Inteligência Articial com resultados considerados promissores. Este trabalho propôs empregar o modelo pré-treinado Longformer para a atividade de sumarização de artigos científicos da base de dados SciSummNet através de etapas de pré-processamento, fine-tuning e geração dos resumos. Os resultados obtidos indicaram melhoria de 20,8% para ROUGE-2 recall e 22,69% para ROUGE-2 F-Measure em relação ao trabalho original da base SciSummNet através do modelo ComAbstract