La synthèse concaténative audiovisuelle par corpus étend le principe de synthèse concaténative sonore au domaine visuel, où en addition du corpus sonore (une collection de segments de sons enregistrés accompagnés d’une description perceptive de leurs caractéristiques), l’artiste utilise un corpus d’images statiques avec leurs caractéristiques visuelles perceptives (couleur, texture, détail, luminosité, entropie, mouvement). Il vise ainsi à créer une performance audiovisuelle musicale en navigant en temps réel dans ces espaces de descripteurs : à travers une collection de grains sonores dans un espace de descripteurs audio perceptifs, et à travers un espace de descripteurs visuels, en sélectionnant des images dans un corpus visuel pour le rendu. En conséquence, naviguer en parallèle à travers les deux corpus de manière interactive par contrôle gestuel tactile. Nous étendons ici ce principe à l’analyse de vidéos pour constituer le corpus visuel, avec l’ajout de quelques descripteurs spécifiques. Deux questions arts/sciences sont explorées, dans le cas d'une création artistique : quels descripteurs visuels sont adaptés à une interaction multimodale ? Comment les intégrer, depuis l’analyse de données vidéo en temps réel, dans un système de synthèse sonore concaténative par corpus, pour créer une expérience audiovisuelle multimodale incarnée ? C'est ce qui est permis avec Max/Jitter/MuBu dans la toolbox ViVo, brièvement présentés dans ce séminaire.

Intervenants

Diemo Schwarz est chercheur à l'Ircam (laboratoire STMS), compositeur de musique électronique, et musicien improvisateur. Ses recherches scientifiques portent sur l'interaction entre musicien et machine, sur l'exploitation de grandes masses de sons pour la synthèse sonore temps réel et interactive, soit pour redonner aux musiciens un accès immédiat et expressif aux mondes sonores électroniques grâce au contrôle gestuel, soit pour des installations grand public avec des interfaces tangibles intuitives, comme les DIRTI (Dirty Tangible Interfaces). En 2017, il était professeur invité à l'Université Technique de Berlin dans le cadre du programme Edgar-Varèse du DAAD, et en 2022, résident à l'Institut de recherches avancées IMéRA, Aix–Marseille Université, dans le programme arts, sciences, sociétés.

Matéo Fayet est diplômé du Master Acoustique & Musicologie (Aix-Marseille Université) en 2023. Son mémoire de Master portait sur le développement de ViVo et la création d'une œuvre audiovisuelle immersive dans l'équipe ISMM et au laboratoire PRISM. Actuellement, étudiant en Année de Recherche en Rercherche-Création (ENS Paris-Saclay), il réalise son stage au sein des équipes ISMM (projet DOTS) et de Réalisation en informatique musicale de l'Ircam.