Thomaz, C. E.Domingues, Pedro Henrique Silva2024-05-062024-05-062024DOMINGUES, Pedro Henrique Silva. <b> Segmentação de faces parcialmente ocluídas para avaliação da expressão de dor neonatal. </b> 2024. 69 f. Dissertação (Mestrado em Engenharia Elétrica) - Centro Universitário FEI, São Bernardo do Campo, 2024. Disponível em: https://doi.org/10.31414/EE.2024.D.131729.https://repositorio.fei.edu.br/handle/FEI/5360avaliação e o tratamento corretos da dor são procedimentos clínicos importantes para o desenvolvimento saudável de recém-nascidos (RNs). Visto que RNs ainda não desenvolveram a capacidade de expressão verbal, a identificação da dor através de expressões faciais visuais é o meio alternativo mais comum para este caso, utilizada por pais e por profissionais da saúde, para estes últimos baseados em escalas como a Neonatal Facial Coding System (NFCS). Desse modo, a automatização do uso dessas escalas utilizando imagens de face é alvo de estudos recentes. As estratégias desenvolvidas utilizam redes neurais, modelos de classificação ou a medição de distâncias entre partes da face. No entanto, alguns equipamentos médicos utilizados por estes RNs dificultam a análise automática da dor através de imagens, pois obstruem parte da face, dificultando a detecção facial e a localização de pontos chave. Diante disso, o objetivo desta dissertação foi estudar a segmentação facial de RNs, identificando o melhor método computacional para casos com e sem a presença de oclusão parcial da face e verificando a influência desta segmentação como uma ferramenta para remoção de ruído e melhora de desempenho de modelos de classificação da expressão de dor. As oclusões aqui estudadas provêm de imagens de UTIs neonatais (UTINs), nas quais equipamentos médicos como sonda enteral ou gástrica, intubação orotraqueal e óculos de fototerapia muitas vezes impossibilitam a visualização completa de partes importantes da face como olhos e boca. Três modelos de segmentação foram testados em cenários com e sem a presença dessas oclusões e o melhor foi utilizado para segmentar faces de RNs e classificação da expressão de dor com quatro diferentes classificadores baseados em redes neurais. O SAM (Segment Anything Model) foi considerado o melhor modelo para segmentação, com alto coeficiente Dice (>0,91). No entanto, utilizar o SAM para remoção de ruidos como plano de fundo e oclusões não gerou melhora significativa no desempenho dos classificadores, que apresentaram em média 66% de acurácia em casos com oclusãoThe correct identification and treatment of pain are crucial clinical procedures for the healthy development of newborns (NBs). Since NBs have not yet developed the capacity for verbal expression, identifying pain through visual facial expressions is the most common alternative method for this case, used by parents and healthcare professionals, with the latter relying on scales such as the Neonatal Facial Coding System (NFCS). Therefore, the automation of using these scales with facial images has become the subject of recent studies. The developed strategies involve the utilization of neural networks, classification models, or measuring distances between facial parts. However, some medical equipment used on these NBs complicates the automatic analysis of pain through images, as they obstruct parts of the face, hindering facial detection and key point localization. Consequently, the objective of this dissertation was to study NB facial segmentation, discovering the optimal computational method for cases with and without partial face occlusion and assessing the influence of this segmentation as a tool for noise removal and enhancement of pain expression classification model performance. The occlusions studied here stem from images captured in neonatal intensive care units (NICUs), where medical equipment such as enteral or gastric tubes, orotracheal intubation, and phototherapy goggles often prevent the complete visualization of crucial facial parts such as the eyes and mouth. Three segmentation models were tested in scenarios with and without the presence of these occlusions, and the best one was used to segment NB faces and classify pain expression with four different neural network-based classifiers. The SAM (Segment Anything Model) was considered the best model for segmentation, with a high Dice coefficient (>0.91). However, using SAM for noise removal such as background and occlusions did not result in a significant improvement in classifier performance, which averaged 66% accuracy in cases with occlusion. Keywords: Pain classification. Infant pain. Image processing. Face segmentation. Computer visionpt-BRSegmentação de facesDor em recém-nascidosClassificação de expressão facialProcessamento de imagensVisão por computadorDissertaçãohttps://doi.org/10.31414/EE.2024.D.131729