Human vs machine towards neonatal pain assessment: a comparison of the facial features extracted by adults and convolutional neural networks
Carregando...
Arquivos
Citações na Scopus
Tipo de produção
Dissertação
Data
2023
Autores
Carlini, Lucas Carlini
Orientador
Thomaz, C. E.
Periódico
Título da Revista
ISSN da Revista
Título de Volume
Citação
CARLINI, Lucas Carlini. Human vs machine towards neonatal pain assessment: a comparison of the facial features extracted by adults and convolutional neural networks. 2023. 96 p. Dissertação (Mestrado Engenharia Elétrica ) - Centro Universitário FEI, São Bernardo do Campo, 2023. Disponível em: https://doi.org/10.31414/EE.2023.D.131608.
Texto completo (DOI)
Palavras-chave
Dor neonatal,Inteligência artificial
Resumo
One of the most important challenges of the scientific community is to mitigate the several
consequences for neonates due to pain exposure. This challenge is mainly justified by the fact
that neonates are not able to verbally communicate pain, hindering the correct identification
of the presence and intensity of this phenomenon. In this context, several clinical scales have
been proposed to assess pain, using, among other parameters, the facial features of the neonate.
However, a better comprehension of these features is yet required, since some recent results
have shown the subjectivity of these scales. Meanwhile, computational frameworks have been
implemented to automate neonatal pain assessment. Despite their impressive performances, these
frameworks still lack to understand the corresponding decision-making processes. Therefore, we
propose to investigate in this dissertation the facial features related to the human and machine
neonatal pain assessments, comparing the visual perceived regions by health-professionals
experts and parents of neonates with the most relevant ones extracted by eXplainable Artificial
Intelligence (XAI) methods using two classification models: (i) VGG-Face, trained originally
in facial recognition, and (ii) N-CNN, implemented and trained end-to-end for neonatal pain
assessment. Our findings show that the regions used by the classification models are clinically
relevant to neonatal pain assessment, yet do not agree with the facial perception of healthprofessionals
and parents. Consequently, these differences suggest that humans and machines can
learn with each other in order to improve their current decision-making process of identifying the
discriminant information related to neonatal pain. Additionally, we observed that, using the same
classification model, the XAI methods implemented here yield distinct relevant facial features to
the same input image. These results raise concerns about the effective use and interpretation
of XAI methods, and, more importantly, what regions of the image are truly relevant to the
decision-making process of the classification model. Nevertheless, our findings advance the
current knowledge on how humans and machines code and decode the neonatal facial response
to pain. We believe that these findings might enable further improvements in clinical scales
and computation tools widely used in real situations, whether based on human or machine
decision-making process
Um dos mais importantes desafios da comunidade científica é mitigar as diversas consequências à exposição da dor em neonatos. Este desafio é principalmente justificado pelo fato de que neonatos não são capazes de verbalizarem dor, dificultando a correta identificação da presença e intensidade deste fenômeno. Neste contexto, diversas escalas clínicas têm sido propostas para avaliar dor, usando, entre outros parâmetros, as características faciais do neonato. Entretanto, uma melhor compreensão dessas caracterísitcas é ainda necessária, visto que resultados recentes demonstraram a subjetividade destas escalas. Enquanto isso, metodologias computacionais têm sido implementadas para automatizar a avaliação da dor neonatal. Apesar de terem desempenho expressivo, estes métodos não permitem a compreensão dos seus processos de tomada de decisão. Portanto, esta dissertação investiga as características faciais relacionadas a avaliação de dor neonatal humana e computacional, comparando as regiões visualmente observadas por profissionais de saúde e pais de neonatos com as características mais relevantes extraídas por métodos de Interpretação de Inteligência Artificial (IIA) utilizando dois modelos de classificação: (i) VGG-Face, treinada originalmente em reconhecimento facial, e (ii) N-CNN, implementada e treinada especificamente para a avaliação de dor neonatal. Os resultados obtidos mostram que as regiões utilizadas pelos modelos de classificação são clinicamente relevantes para a avaliação de dor neonatal, porém, não concordam com a percepção facial de profissionais de sáude e pais. Consequentemente, essas diferenças sugerem que humanos e máquinas podem aprender entre si de forma a melhorar seus atuais processos de identificar as informações discrimimantes da dor neonatal. Adicionalmente, foi observado que, utilizando o mesmo modelo de classificação, métodos distintos de IIA geram diferentes extrações de características para a mesma amostra de imagem de entrada. Estes resultados geram preocupações sobre o efetivo uso e interpretação desses métodos, e, mais importante ainda, quais são as regiões faciais realmente relevantes para o processo de tomada de decisão do modelo computacional. Não obstante, os resultados obtidos avançam o conhecimento atual em como humanos e máquinas codificam e decodificam a resposta facial à dor por neonatos. Estes achados podem permitir o futuro melhoramento das escalas clínicas e ferramentas computacionais utilizadas vastamente em situações reais, sejam esses métodos baseados em decisões humanas ou de máquina
Um dos mais importantes desafios da comunidade científica é mitigar as diversas consequências à exposição da dor em neonatos. Este desafio é principalmente justificado pelo fato de que neonatos não são capazes de verbalizarem dor, dificultando a correta identificação da presença e intensidade deste fenômeno. Neste contexto, diversas escalas clínicas têm sido propostas para avaliar dor, usando, entre outros parâmetros, as características faciais do neonato. Entretanto, uma melhor compreensão dessas caracterísitcas é ainda necessária, visto que resultados recentes demonstraram a subjetividade destas escalas. Enquanto isso, metodologias computacionais têm sido implementadas para automatizar a avaliação da dor neonatal. Apesar de terem desempenho expressivo, estes métodos não permitem a compreensão dos seus processos de tomada de decisão. Portanto, esta dissertação investiga as características faciais relacionadas a avaliação de dor neonatal humana e computacional, comparando as regiões visualmente observadas por profissionais de saúde e pais de neonatos com as características mais relevantes extraídas por métodos de Interpretação de Inteligência Artificial (IIA) utilizando dois modelos de classificação: (i) VGG-Face, treinada originalmente em reconhecimento facial, e (ii) N-CNN, implementada e treinada especificamente para a avaliação de dor neonatal. Os resultados obtidos mostram que as regiões utilizadas pelos modelos de classificação são clinicamente relevantes para a avaliação de dor neonatal, porém, não concordam com a percepção facial de profissionais de sáude e pais. Consequentemente, essas diferenças sugerem que humanos e máquinas podem aprender entre si de forma a melhorar seus atuais processos de identificar as informações discrimimantes da dor neonatal. Adicionalmente, foi observado que, utilizando o mesmo modelo de classificação, métodos distintos de IIA geram diferentes extrações de características para a mesma amostra de imagem de entrada. Estes resultados geram preocupações sobre o efetivo uso e interpretação desses métodos, e, mais importante ainda, quais são as regiões faciais realmente relevantes para o processo de tomada de decisão do modelo computacional. Não obstante, os resultados obtidos avançam o conhecimento atual em como humanos e máquinas codificam e decodificam a resposta facial à dor por neonatos. Estes achados podem permitir o futuro melhoramento das escalas clínicas e ferramentas computacionais utilizadas vastamente em situações reais, sejam esses métodos baseados em decisões humanas ou de máquina