Uma metodologia baseada em aprendizado de máquina para predição de fases de cirurgias laparoscópicas a partir de vídeos
Carregando...
Arquivos
Citações na Scopus
Tipo de produção
Dissertação
Data
2023
Autores
Henrique, Matheus Silva
Orientador
Rodrigues, Paulo Sérgio Silva
Periódico
Título da Revista
ISSN da Revista
Título de Volume
Citação
HENRIQUE, Matheus Silva. Uma metodologia baseada em aprendizado de máquina para predição
de fases de cirurgias laparoscópicas a partir de vídeos. 2023. 80 p. Dissertação (Mestrado em Engenharia Elétrica ) - Centro Universitário FEI, São Bernardo do Campo, 2023. Disponível em: https://doi.org/10.31414/EE.2023.D.131671.
Texto completo (DOI)
Palavras-chave
Rede neural convolucional
Resumo
As cirurgias minimamente invasivas evoluíram consideravelmente em décadas recentes e ainda podem resultar em complicações graves ao paciente relacionadas à técnica cirúrgica. A laparoscopia é um tipo de procedimento minimamente invasivo, no qual um cirurgião, por meio de imagens geradas em tempo real, movimenta instrumentos cirúrgicos através de pequenas incisões feitas no paciente. Trata-se de um procedimento com diversas fases protocolares, mas também dependente de habilidades de cada cirurgião. O rastreamento, acompanhamento e validação dessas fases é uma estratégia importante para o processo como um todo. Técnicas de Visão Computacional baseadas em aprendizado de máquina ganharam destaque recentemente,
particularmente na área médica. O projeto aqui proposto apresenta uma arquitetura baseada em Mask R-CNN, Segment Anything e Long Short-Therm Memory (LSTM), que utiliza imagens capturadas de cirurgia de colecistectomia, um tipo de cirugia laparascópica, para identificar os
instrumentos durante o ato, extrair informações destes instrumentos e realizar a predição de qual fase de uma cirurgia está sendo realizada. O projeto visa trazer benefícios, como: o indexamento automático de fases em um banco de dados de cirurgia, o auxílio no estudo do tempo de fases
para otimizar agendamentos, e a identificação de problemas na execução de determinadas fases. O trabalho inovador alcançou a acurácia de 81,73% na previsão de fases na base de dados M2CAI, e abre espaço para novas investigações relacionadas ao modo de execução da cirurgia
por meio da segmentação e monitoramento dos instrumentos cirúrgicos. Além disso, a identificação de problemas na execução de determinadas fases poderá ser realizada, contribuindo para a melhoria dos procedimentos e, consequentemente, para melhores resultados para os pacientes
Minimally invasive surgeries have significantly evolved in recent decades, yet they can still result in serious patient complications related to surgical technique. Laparoscopy is a type of minimally invasive procedure in which a surgeon, using real-time generated images, moves surgical instruments through small incisions made in the patient. It involves several protocol-based phases but is also depends on the skills of each surgeon. Tracking, monitoring, and validating these phases are crucial strategies for the overall process. Computer vision techniques based on machine learning have gained importance recently, particularly in the medical field. The project presented here introduces an architecture based on Mask R-CNN, Segment Anything, and Long Short-Term Memory (LSTM). It employs images captured during cholecystectomy surgery, a type of laparoscopic procedure, to identify instruments during the operation, extract information from these instruments, and predict which phase of a surgery is being performed. The project aims to bring benefits such as automatic phase indexing in a surgery database, assistance in studying phase durations for scheduling optimization, and the identification of issues in the execution of specific phases. This innovative work achieved an 81,73% accuracy rate in predicting phases in the M2CAI database, paving the way for further investigations related to the execution of surgery through instrument segmentation and monitoring. Furthermore, it enables the identification of issues during specific phases, contributing to procedure improvement and, consequently, better outcomes for patients.
Minimally invasive surgeries have significantly evolved in recent decades, yet they can still result in serious patient complications related to surgical technique. Laparoscopy is a type of minimally invasive procedure in which a surgeon, using real-time generated images, moves surgical instruments through small incisions made in the patient. It involves several protocol-based phases but is also depends on the skills of each surgeon. Tracking, monitoring, and validating these phases are crucial strategies for the overall process. Computer vision techniques based on machine learning have gained importance recently, particularly in the medical field. The project presented here introduces an architecture based on Mask R-CNN, Segment Anything, and Long Short-Term Memory (LSTM). It employs images captured during cholecystectomy surgery, a type of laparoscopic procedure, to identify instruments during the operation, extract information from these instruments, and predict which phase of a surgery is being performed. The project aims to bring benefits such as automatic phase indexing in a surgery database, assistance in studying phase durations for scheduling optimization, and the identification of issues in the execution of specific phases. This innovative work achieved an 81,73% accuracy rate in predicting phases in the M2CAI database, paving the way for further investigations related to the execution of surgery through instrument segmentation and monitoring. Furthermore, it enables the identification of issues during specific phases, contributing to procedure improvement and, consequently, better outcomes for patients.