This project addresses methodological and technological challenges in the development of multi-modal data acquisition and analysis methods for the representation of instrumental playing technique in music performance through auditory-motor patterning models. The case study is violin playing: a multi-modal database of violin performances has been constructed by recording different musicians while playing short exercises on different violins. The exercise set and recording protocol have been designed to sample the space defined by dynamics (from piano to forte) and tone (from sul tasto to sul ponticello), for each bow stroke type being played on each of the four strings (three different pitches per string) at two different tempi. The data, containing audio, video, and motion capture streams, has been processed and segmented to facilitate upcoming analyses. From the acquired motion data, the positions of the instrument string ends and the bow hair ribbon ends are tracked and processed to obtain a number of bowing descriptors suited for a detailed description and analysis of the bow motion patterns taking place during performance. Likewise, a number of sound perceptual attributes are computed from the audio streams. Besides the methodology and the implementation of a number of data acquisition tools, this project introduces preliminary results from analyzing bowing technique on a multi-modal violin performance database that is unique in its class. A further contribution of this project is the data itself, which will be made available to the scientific community through the repovizz platform.

Aquest projecte adreça reptes metodològics i tècnics en el desenvolupament de mètodes d’adquisició i anàlisi de dades multi-models per la representació de tècniques instrumentals en la interpretació musical mitjançant models de patrons auditorimotors. El cas d’estudi és la interpretació del violí: s’ha construït una base de dades multi-modal amb músics tocant diferents exercicis al violí enregistrant-los amb diferents instruments. El conjunt d’exercicis i el protocol d’enregistrament s’han dissenyat per mostrejar l’espai definit per la dinàmica (de piano a forte) i to (de sul tasto a sul ponticello), per cada tipus d’arcada tocada en cadascuna de les quatre corda (i tres notes diferents per corda) a dos tempi diferents. Les dades, que contenen fonts d’àudio, vídeo i captura de moviment, s’han processat i segmentat per facilitar anàlisis posteriors. A partir de les dades de moviment adquirides, la posició dels límits de les cordes de l’instrument i de les cerdes de l’arc es segueixen i processen per tal d’obtenir un nombre de descriptors de l’arc, que permeten fer una descripció i anàlisis detallada dels patrons de moviment de l’arc durant l’acte interpretatiu. De manera similar, es calculen uns quants atributs perceptuals a partir de les fonts d’àudio. A part de la metodologia i implementació d’un conjunt d’eines per a la adquisició de dades, aquest projecte introdueix resultats preliminars fruit de l’anàlisi de la tècnica de l’arc en una base de dades multi-modal amb interpretacions de violí única en la seva espècie. Una altra contribució del projecte són les dades en si mateixes, que es posaran a la disponibilitat de la comunitat científica mitjançant la plataforma repovizz.

En este proyecto se tratan retos metodológicos y técnicos en el desarrollo de métodos de adquisición y análisis de datos multi-modales para la representación de técnicas instrumentales en la interpretación musical mediante modelos de patrones auditorio-motoros. El caso de estudio es la interpretación del violín: se ha construido una base de datos multi-modal con músicos tocando diferentes ejercicios al violín grabados con distintos instrumentos. El conjunto de ejercicios y el protocolo de grabación han sido diseñados para muestrear el espacio definido por la dinámica (de piano a forte) y tono (de sul tasto a sul pointicello), por cada tipo de arcada tocada en cada una de las cuatro cuerdas (y con tres notas distintas por cuerda) a dos tempi distintos. Los datos, que contienen fuentes de audio, vídeo y captura de movimiento, se han procesado y segmentado para facilitar posteriores análisis. A partir de los datos de movimiento adquiridos, se siguen la posición de los límites de las cuerdas del instrumento y de las cerdas del arco para procesarlas y obtener unos descriptores del arco, que permiten hacer una descripción y análisis detallado de los patrones de movimiento del arco durante la interpretación. De forma similar, se calculan atributos perceptuales a partir de las fuentes de audio. A parte de la metodología e implementación de un conjunto de herramientas para la adquisición de datos, este proyecto introduce resutlados preliminares fruto del análisis de la técnica de arco en una base de datos multi-modal sobre la interpretación del violín única en su especie. Otra contribución del proyecto son los datos en si mismos, que se publicaran para su uso en la comunidad científica mediante la plataforma repovizz.