logo EDITE Sujets de doctorat

Intégrer un contexte métrique et des contrôles harmoniques en temps réel dans un processus informatique d'improvisation musicale

Sujet proposé par
Directeur de thèse:
Encadré par
Unité de recherche UMR 9912 Sciences et Technologies de la Musique et du Son

Domaine: Sciences et technologies de l'information et de la communication
Secteur:
Thème:
Sous-thème:

Projet

Cette thèse traitant de la modélisation informatique de l'improvisation musicale sera menée dans le cadre d'un partenariat IRCAM / STMS et CAMS, en co-direction entre les deux responsables avec une répartition du travail sur les deux sites.

L'improvisation musicale est une pratique qui repose sur un savoir complexe en général implicite. Modéliser ce savoir consiste à l'expliciter pour en faire apparaître la cohérence et montrer ses relations avec le geste musical qu'il contrôle. Aujourd'hui, des logiciels de simulation de l'improvisation comme OMax (G. Bloch, S. Dubnov, G. Assayag 2008), ou sa variante ImproteK, faisant l'objet de collaborations entre l'IRCAM et le CAMS, peuvent créer un musicien virtuel capable de participer de façon crédible à une improvisation collective. Ces logiciels mettent l'accent sur le clonage instrumental par apprentissage en temps réel. La génération d'improvisation structurées sur les plans métriques et harmoniques fait plus particulièrement l'objet des expériences menées avec ImproteK. Programmer ces logiciels pour qu'ils improvisent de manière satisfaisante eu égard au jugement d'experts musiciens dans un contexte donné ouvre des perspectives très riches pour la modélisation des savoirs musicaux liés à l'improvisation.

Cette modélisation peut s'entendre comme une formalisation des structures et des mécanismes à l'aide d'un langage musical explicite. Une référence classique dans ce domaine (Ebcioglu 1990, avec les chorals de Bach) a consisté à recenser et à classer les progressions mélodiques et harmoniques propres à un style, une époque, ou un compositeur. Ces règles formalisées peuvent ensuite servir de guides pour la création d'un nouveau matériau musical (Pachet 2001). Mais la modélisation peut également être effectuée de manière agnostique à l'aide de techniques d'apprentissage automatique en construisant des modèles empiriques se nourrissant de la musique entendue pour dégager des observations menant à une compréhension non théorisée du style (Assayag & Bloch 2007). L'utilisation des structures obtenues permet ainsi d'élaborer un nouveau discours musical proche de celui observé en termes de construction mélodique, d'harmonisation, ou d'accompagnement (Ramalho 1999).

La thèse vise à explorer ces approches dans le cadre d'ImproteK et d'OMax, à la fois sur le plan informatique, en étendant les capacités de ces logiciels au sein d'un système général d'improvisation, et sur le plan musical, en interagissant avec des experts improvisateurs qui évalueront les productions de la machine. Le principe du logiciel est de capter les phrases jouées par un instrumentiste, et de les réutiliser pour produire une nouvelle improvisation. Les difficultés spécifiques qui se posent aujourd'hui sont liées à la prise en compte de paramètres musicaux complexes : 1) le rythme, 2) le son, et 3) l'harmonie.

Enjeux

L'enjeu est de concevoir un logiciel capable d'improviser dans un cadre métrique basé sur une pulsation régulière, en modélisant un style musical lors de phases d'apprentissage. Un des défis majeurs sera donc de concilier la souplesse nécessaire à une forte réactivité du système (dans l'interaction en temps réel) avec ce qu'on pourrait appeler une "réification du temps", c'est-à-dire le fait de réutiliser dans l'improvisation des fragments de musique pré-enregistrée (issus de la phase d'apprentissage), inspirée par la technique du sampling des musiques électroniques actuelles. Ces dernières font appel essentiellement au principe de la mise en boucle. Or le verrou scientifique majeur que la thèse devra lever sera donc de concilier la souplesse de l'interactivité du système, avec la contrainte de la réutilisation d'éléments fixés et de leur adaptation au cadre prédéfini d'une pulsation régulière, sans être limité à la stricte répétition de boucles.

La modélisation échantillonnée du style nécessite, lors de sa mise en oeuvre dans une performance, de se synchroniser avec la pulsation induite par des musiciens réels et suppose que l'on soit capable de détecter le tempo de manière à segmenter les données avec la plus grande cohérence musicale. Ce problème complexe comprend simultanément un aspect informatique et traitement du signal, et un aspect humain relevant de la cognition. Cette dimension est en effet pleinement intégrée dans différents systèmes de détection de pulsation ou de suivi de tempo qui font intervenir dans leurs implémentations les caractéristiques psychoacoustiques de la perception humaine (Klapuri 2006). Les contraintes du temps réel nécessitent de développer des capacités d'inférence et de prédiction, dans le suivi de tempo d'une part (Goto 2001), et dans les structures musicales sur lesquelles se base l'improvisation (par exemple une grille harmonique) que l'on cherchera à unifier dans un même processus d'apprentissage. Le choix de la pulsation comme unité temporelle introduit en effet une frontière mince entre temps réel et temps différé, qui sera explorée dans un premier temps à l'aide du système de suivi de partition Antescofo développé à l'IRCAM (Cont 2008), dans lequel on peut envisager à terme l'intégration de certaines fonctions dédiées à l'improvisation.

Un autre aspect essentiel de l'improvisation est la sonorité instrumentale. Les logiciels d'improvisation peuvent restituer le son d'un musicien enregistré au format audio, mais la réutilisation des phrases qu'il a jouées adaptées à un nouveau tempo suppose qu'on soit capable de déformer le signal de façon élastique. Les méthodes bien connues de Phase Vocoder (déjà utilisées dans OMax), qui permettent ce genre de manipulation, serviront de point de départ pour s'attaquer au problème de la mise en place rythmique de séquences audio dans un cadre métrique donné.

Enfin, dans la lignée de la simulation du style musical effectuée par le logiciel OMax, on étendra cette modélisation aux dimensions verticales que sont l'harmonisation et l'arrangement. L'improvisation nécessitera donc un contrôle des simultanéités qui se produisent entre les différentes parties musicales. Différents modèles ont été proposés concernant ces aspects harmoniques (Steedman 1984), et on s'intéressera à leur implémentation logicielle ainsi qu'à leur validation par des musiciens experts. Dans d'autres environnements musicaux, sa généricité lui permettra de comprendre d'autres formes d'associations verticales pouvant être indexées de manière agnostique en employant une grammaire différente.

Remarques additionnelles

Références

G. Bloch, S. Dubnov, G. Assayag, Introducing video features and spectral descriptors in the OMax improvisation system, International Computer Music Conference '08, Belfast, 2008.

F. Maniatakos, G. Assayag, F. Bevilacqua, C. Agon, On architecture and formalisms for computer assisted improvisation, Sound and Music Computing Conference, Barcelona, 2010.

G. Assayag, G. Bloch Navigating the oracle: a heuristic approach, International Computer Music Conference '07, Copenhagen, 2007

K. Ebcioglu, An expert system for harmonizing chorales in the style of J.S. Bach, The Journal of Logic Programming, 8(1-2) :145-185, 1990.

F. Pachet, P. Roy. Musical harmonization with constraints : A survey. Constraints Journal, 6, 2001.

G. Assayag and S. Dubnov, Using factor oracles for machine improvisation, Soft Computing-A Fusion of Foundations, Methodologies and Application ,vol. 8, no. 9, pp. 604-610, 2004.

G.L. Ramalho, P.Y Rolland, J.G. Ganascia. An artificially intelligent jazz performer, Journal of New Music Research, 28(2) :105-129, 1999.

A.P. Klapuri, A.J. Eronen, and J.T. Astola. Analysis of the meter of acoustic musical signals. Audio, Speech, and Language Processing, IEEE Transactions on, 14(1) :342-355, 2006.

M. Goto. An audio-based real-time beat tracking system for music with or without drum-sounds, Journal of New Music Research, 30(2) :159-171, 2001.

A. Cont, Antescofo : Anticipatory synchronization and control of interactive parameters in computer music, International Computer Music Conference, 2008.

M.J. Steedman, A Generative Grammar for Jazz Chord Sequences, Music Perception, vol. 2, n° 1, 1984, 52-77.