Environmental sound recognition in embedded systems: bridging experiments in passenger vehicles to autonomous vehicle applications in smart cities
Nenhuma Miniatura disponível
Citações na Scopus
Tipo de produção
Dissertação
Data
2024
Autores
Florentino, André Luiz
Orientador
Aquino Junior, Plínio T.
Periódico
Título da Revista
ISSN da Revista
Título de Volume
Citação
FLORENTINO, André Luiz. Environmental sound recognition in embedded systems: bridging experiments in passenger vehicles to autonomous vehicle applications in smart cities. 2024. 155 f. Dissertação (Mestrado em Engenharia Elétrica) - Centro Universitário FEI, São Bernardo do Campo, 2024. Disponível em: Texto na íntegra.
Texto completo (DOI)
Palavras-chave
Reconhecimento de Som Ambiental,Veículo Autônomo,Sistema Embarcado
Resumo
The autonomous vehicle market is experiencing significant growth, with indications
of transitioning from the "trough of disillusionment" to the "slope of enlightenment" on the
Gartner hype cycle chart. Fundamental technologies encompassing extensive data analytics,
computational capabilities, and sensor fusion techniques have already been established, and all
stakeholders in this industry are persistently exploring novel approaches to enhance the overall
perception of end users in terms of safety and trustworthiness. In this context, this project aims to
develop and implement an Environmental Sound Recognition (ESR) algorithm in an embedded
system for deployment in autonomous vehicles for Smart Cities in 2025, targeting advanced
functionalities for early warning systems. Due to hardware constraints, a regular passenger
vehicle was used, embedding the ESR algorithm in a Raspberry Pi with a microphone array. The
limited literature on ESR algorithms for vehicles primarily focuses on siren detection without
real-time inferences, and to address this, a dataset benchmarking study confirmed classifiers’
accuracy, leading to the creation of a new dataset tailored to autonomous vehicles. This new
dataset provided a comprehensive baseline where several classifiers were trained and evaluated
for accuracy, memory usage, and prediction time, with CNN 2D using aggregated features
emerging as the top-performing model, achieving an average accuracy of 80% in the sliding
window process. During the indoor experiment, the total prediction time attained an average
of 47.6 ms, validating the algorithm’s performance with weighted F1-scores close to or better
than cross-validation results. In the final phase of the methodology, real-world tests conducted
in a passenger vehicle yielded similar results. However, inconsistencies were observed in
certain classes due to insufficient sample diversity and environmental noise, which affected their
accuracy. The results of this project indicate that its general objective was successfully achieved,
contributing to understanding of ESR algorithms in embedded systems within passenger vehicles,
and it is ready for integration into the electric and electronic architecture of autonomous vehicles
for Smart Cities. Additionally, upon conducting further experiments across various vehicle
categories to assess cabin insulation effects, this project could potentially enhance safety features
for drivers with hearing impairments by adapting the ESR algorithm as an add-on feature in
regular passenger vehicles
O mercado de veículos autônomos vem crescendo significativamente, indicando uma transição do "vale da desilusão" para a "inclinação da iluminação" no gráfico Gartner hype cycle. As tecnologias essenciais que abrangem análise extensa de dados, capacidades computacionais avançadas e técnicas de fusão de sensores já foram estabelecidas e as partes interessadas nesta indústria estão constantemente explorando novas abordagens para aprimorar a percepção global dos usuários finais em termos de segurança e confiabilidade. Nesse contexto, este projeto visa desenvolver e implementar um algoritmo de Reconhecimento de Sons Ambientais (ESR) em sistema embarcado para implantação em veículos autônomos para cidades inteligentes em 2025, visando funcionalidades avançadas para sistemas de alerta precoce. Devido às limitações de hardware, foi utilizado um veículo de passageiros comum, incorporando o algoritmo ESR em um Raspberry Pi com uma matriz microfônica. A literatura sobre algoritmos ESR para veículos se concentra na detecção de sirenes sem inferências em tempo real. Para resolver esse problema, um estudo de benchmarking de datasets confirmou a precisão dos classificadores, levando à criação de um novo dataset adaptado a veículos autônomos. Este dataset forneceu uma base de referência onde vários classificadores foram treinados e avaliados quanto à sua precisão, uso de memória e tempo de predição, com a CNN 2D usando características agregadas se destacando com o melhor desempenho, alcançando uma precisão média de 80% no processo de janela deslizante. Um experimento em ambiente interno validou o desempenho do algoritmo com valores de F1-score ponderado próximos ou melhores que os resultados da validação cruzada, com tempo total de predição médio de 47,6 ms. Na fase final da metodologia, testes em ambiente externo com um veículo de passageiros demonstraram resultados semelhantes, embora inconsistências tenham sido observadas em certas classes devido à falta de diversidade das amostras e ao ruído ambiental, penalizando sua precisão. O projeto alcançou com sucesso seu objetivo geral e está pronto para integração na arquitetura elétrica e eletrônica de veículos autônomos para cidades inteligentes. Além disso, ao conduzir experimentos adicionais em várias categorias de veículos para avaliar os efeitos da isolação da cabine, este projeto poderia potencialmente melhorar as características de segurança para motoristas com deficiência auditiva ao adaptar o algoritmo ESR como uma funcionalidade adicional em veículos comuns
O mercado de veículos autônomos vem crescendo significativamente, indicando uma transição do "vale da desilusão" para a "inclinação da iluminação" no gráfico Gartner hype cycle. As tecnologias essenciais que abrangem análise extensa de dados, capacidades computacionais avançadas e técnicas de fusão de sensores já foram estabelecidas e as partes interessadas nesta indústria estão constantemente explorando novas abordagens para aprimorar a percepção global dos usuários finais em termos de segurança e confiabilidade. Nesse contexto, este projeto visa desenvolver e implementar um algoritmo de Reconhecimento de Sons Ambientais (ESR) em sistema embarcado para implantação em veículos autônomos para cidades inteligentes em 2025, visando funcionalidades avançadas para sistemas de alerta precoce. Devido às limitações de hardware, foi utilizado um veículo de passageiros comum, incorporando o algoritmo ESR em um Raspberry Pi com uma matriz microfônica. A literatura sobre algoritmos ESR para veículos se concentra na detecção de sirenes sem inferências em tempo real. Para resolver esse problema, um estudo de benchmarking de datasets confirmou a precisão dos classificadores, levando à criação de um novo dataset adaptado a veículos autônomos. Este dataset forneceu uma base de referência onde vários classificadores foram treinados e avaliados quanto à sua precisão, uso de memória e tempo de predição, com a CNN 2D usando características agregadas se destacando com o melhor desempenho, alcançando uma precisão média de 80% no processo de janela deslizante. Um experimento em ambiente interno validou o desempenho do algoritmo com valores de F1-score ponderado próximos ou melhores que os resultados da validação cruzada, com tempo total de predição médio de 47,6 ms. Na fase final da metodologia, testes em ambiente externo com um veículo de passageiros demonstraram resultados semelhantes, embora inconsistências tenham sido observadas em certas classes devido à falta de diversidade das amostras e ao ruído ambiental, penalizando sua precisão. O projeto alcançou com sucesso seu objetivo geral e está pronto para integração na arquitetura elétrica e eletrônica de veículos autônomos para cidades inteligentes. Além disso, ao conduzir experimentos adicionais em várias categorias de veículos para avaliar os efeitos da isolação da cabine, este projeto poderia potencialmente melhorar as características de segurança para motoristas com deficiência auditiva ao adaptar o algoritmo ESR como uma funcionalidade adicional em veículos comuns