Outils Ocular Scores
Ocular Scores est développé en collaboration avec le designer Joseph Browne. Le projet est en résidence au Matralab, Université Concordia, Montréal, Québec, Canada, Sandeep Bhagwati, directeur.Approche générale:
Ocular Score Version 1 : Capturer les gestes

Nous utilisons MaxMSP pour l’analyse sonore, en particulier pipo.yin.

Nous importons un fichier son, l’analysons et envoyons les données sur la fréquence, l’amplitude et le début à Touch Designer pour créer un dessin à l’aide d’une seule ligne.


La partition graphique finale sera créée avec trois ou quatre couches d’informations pouvant être supprimées à volonté. Notre première couche sera le dessin créé par Touch Designer. La deuxième couche sera une portée de musique traditionnelle sur laquelle cartographier les fréquences et les rythmes. Il existe de nombreux logiciels de notation existants ; le défi consiste à utiliser un moyen simple d’importer des portées musicales qui peuvent être coordonnées sur l’axe des abscisses au fil du temps. La troisième couche sera disponible pour expliquer plus en termes techniques le son spécifique à créer à travers des images, des doigtés ou d’autres informations spécifiques.
Il y a beaucoup de paramètres qui sont encore maîtrisés à la main afin de faire un dessin cohérent avec les qualités sonores qu’il nous semble important d’exprimer.
Voir l’image à gauche qui montre tous les paramètres que nous pouvons contrôler dans Touch Designer.
Ocular Scores version 2 : saisie en direct
Dans ce prototype, les données analytiques sont produites dans TouchDesigner. Nous pouvons télécharger un fichier son, comme dans la version 1, ou nous pouvons analyser l’entrée audio d’un artiste en direct. Les images sont créées en temps réel sur une image en défilement continu. C’est comme si le stylo était immobile sur le côté droit de la page et que le papier était tiré de droite à gauche.

Ce prototype continue de nous donner la possibilité de créer des images fixes pour capturer un geste – 8 secondes ou moins (ce qui correspond à la taille de la fenêtre actuelle). L’avantage de ce deuxième prototype est qu’on a maintenant un espace blanc (silence) lorsqu’il n’y a pas de son.


Un certain nombre de paramètres affectent la mise à l’échelle et le caractère de l’image, et ces paramètres peuvent être modifiés à la volée pour affecter l’image lors de sa création.

Dans ce prototype, l’enregistrement continu des images crée une longue partition qui peut être sauvegardée et exportée dans un très long jpg. Nous pouvons exporter cette longue partition dans d’autres logiciels de partition à défilement pour de futures performances.
Cet outil peut être utilisé pour créer des partitions musicales ou pour documenter une performance pour une performance répétée. La partition longue peut également être utilisée comme représentation visuelle d’une pièce pour analyser les éléments structurels plus larges d’une œuvre.
Ocular Scores Version 3 : application de performances
La version 3 est conçue pour que le compositeur interagisse avec la partition graphique lors de sa création dans un contexte de performance. Le compositeur crée une partition dynamique à l’aide de filtres programmés à l’avance avec une série de presets et manipule la partition graphique en temps réel en choisissant certaines formes pour les gestes musicaux et en utilisant des délais ; changer la tessiture du geste musical ; ajouter de la couleur et de la distorsion ; et changer la taille et l’échelle des formes.
Dans la version 3, nous avons les mêmes paramètres que dans les versions précédentes mais nous avons maintenant des préréglages que le compositeur peut déclencher lors d’une performance en direct pour manipuler les formes dans un cadre en direct.
Nous avons différentes couleurs pour les formes – le but n’est plus d’interpréter un son en une image, le but est maintenant de créer un environnement de performance.
Nous pouvons retarder le dessin de l’image et nous pouvons utiliser une oscillation basse fréquence (LFO) pour façonner le phrasé des gestes musicaux en supprimant périodiquement l’image entièrement. Dans la version 3 2×1, nous avons 2 interprètes jouant à partir d’une surface de projection et dans la version 3 2×2, nous avons deux interprètes jouant chacun à partir de leurs propres surfaces de projection.
