End-To-End Speech Emotion Recognition Based on Time and Frequency Information Using Deep Neural Networks

Capítulo que propone un sistema de reconocimiento de emociones en el habla basado en redes neuronales profundas que procesa datos de audio en bruto de manera integral para predecir emociones continuas en el espacio arousal-valencia. El modelo se entrena con información temporal y frecuencial de grabaciones de habla de la base de datos multimodal RECOLA. El estudio utiliza el Coeficiente de Correlación de Concordancia para medir la similitud entre las predicciones de la red y el estándar de referencia. Los resultados superan el desempeño de modelos de punta previos, logrando mejores predicciones incluso con un subconjunto reducido de la base de datos comparado con estudios anteriores que utilizaron el dataset completo.

Puntos clave

• El reconocimiento de emociones en el habla mediante redes neuronales profundas procesa datos brutos en tiempo y frecuencia de manera integral.
• El modelo entrena sobre la base de datos multimodal RECOLA y predice emociones continuas en dos dimensiones: arousal y valencia.
• El Coeficiente de Correlación de Concordancia evalúa la similitud entre predicciones del modelo y valores de referencia para medir desempeño.
• El enfoque de extremo a extremo obtiene mejor desempeño que estudios previos utilizando solo un subconjunto de datos, demostrando eficiencia en el aprendizaje.

Para quién: Investigadores e ingenieros en procesamiento de señales de voz, reconocimiento de emociones y aprendizaje profundo que buscan métodos de clasificación automática integral de estados emocionales.