Vous constatez une erreur ?
NaN:NaN
00:00
Knowledge of geometric properties of a room may be very beneficial for many audio applications, including sound source localization, sound reproduction, and augmented and virtual reality. Room geometry inference (RGI) deals with the problem of acoustic reflector localization based on room impulse responses recorded between loudspeakers and microphones.
Rooms with highly absorptive walls or walls at large distances from the measurement setup pose challenges for RGI methos. In the first part of the talk, we present a data-driven method to jointly detect and localize acoustic reflectors that correspond to nearby and/or reflective walls. We employ a multi-branch convolutional recurrent neural network whose input consists of a time-domain acoustic beamforming map, obtained via Radon transform from multi-channel room impulse responses. We propose a modified loss function forcing the network to pay more attention to walls that can be estimated with a small error. Simulation results show that the proposed method can detect nearby and/or reflective walls and improve the localization performance for the detected walls.
Data-driven RGI methods generally rely on simulated data since the RIR measurements in a diverse set of rooms may be a prohibitively time-consuming and labor-intensive task. In the second part of the talk, we explore regularization methods to improve RGI accuracy when deep neural networks are trained with simulated data and tested with measured data. We use a smart speaker prototype equipped with multiple microphones and directional loudspeakers for real-world RIR measurements. The results indicate that applying dropout at the network’s input layer results in improved generalization compared to using it solely in the hidden layers. Moreover, RGI using multiple directional loudspeakers leads to increased estimation accuracy when compared to the single loudspeaker case, mitigating the impact of source directivity.
Dans le cadre du projet ANR HAIKUS (ANR-19-CE23-0023), l'IRCAM, le LORIA et le IJLRA organisent un atelier d'une journée sur les avancées méthodologiques pour la réalité augmentée audio et ses applications.
La réalité augmentée audio (RAA) consiste à intégrer des contenus sonores pré-enregistrés ou générés par ordinateur dans l'environnement réel de l'auditeur. L'audition joue un rôle essentiel pour comprendre notre environnement spatial et interagir avec celui-ci. La modalité auditive accroît l'engagement de l'utilisateur et enrichit l’expérience vécue dans les applications de réalité augmentée (RA), relevant en particulier des domaines de la création artistique, de la médiation culturelle, du divertissement et de la communication.
Les algorithmes de spatialisation sonore représentent des éléments clés dans la chaîne de traitement pour la RAA. Il s’agit de contrôler, en temps réel, la position et l’orientation des sources virtuelles et de synthétiser les effets de réverbération qui leur seront appliqués. Ces outils ont maintenant atteint un niveau de maturité et permettent de piloter des systèmes aussi divers que le rendu binaural tridimensionnel sur casque ou des réseaux de haut-parleurs massivement multicanaux. La précision du traitement spatial appliqué aux événements sonores virtuels est cependant essentielle pour assurer leur intégration sans hiatus perceptif dans l'environnement réel de l'auditeur. Pour atteindre ce niveau d'intégration et de transparence, des méthodes sont nécessaires pour identifier les propriétés acoustiques de l'environnement et ajuster les paramètres du moteur de spatialisation en conséquence. Idéalement, ces méthodes devraient permettre de déduire automatiquement les caractéristiques du canal acoustique, sur la seule base de de l’activité sonore des sources réelles présentes dans l'environnement réel (par exemple : voix, bruits, sons ambiants, sources en mouvement). Ces sujets font l'objet d'une attention croissante, en particulier à la lumière des progrès récents des approches basées sur les méthodes d’apprentissage machine dans le domaine de l'acoustique. En complément, les études perceptives permettent de définir le niveau d’exigence requis pour garantir une expérience sonore cohérente.
Comité d'organisation : Antoine Deleforge (INRIA), François Ollivier (MPIA-IJLRA), Olivier Warusfel (IRCAM)
6 décembre 2024
6 décembre 2024
6 décembre 2024
6 décembre 2024
6 décembre 2024
6 décembre 2024
6 décembre 2024
6 décembre 2024
Vous constatez une erreur ?
1, place Igor-Stravinsky
75004 Paris
+33 1 44 78 48 43
Du lundi au vendredi de 9h30 à 19h
Fermé le samedi et le dimanche
Hôtel de Ville, Rambuteau, Châtelet, Les Halles
Institut de Recherche et de Coordination Acoustique/Musique
Copyright © 2022 Ircam. All rights reserved.