Dance movement patterns recognition
Solà Cerdán, Israel
Sánchez Morales, Jesús
Carrabina Bordoll, Jordi, dir. (Universitat Autònoma de Barcelona. Departament de Microelectrònica i Sistemes Electrònics)
Nijholt, Anton, dir.
Reidsma, Dennis, dir.
University of Twente (Enschede, The Netherlands)
Universitat Autònoma de Barcelona. Escola Tècnica Superior d'Enginyeria
Universitat Autònoma de Barcelona. Escola d'Enginyeria

Data: 2007
Resum: "Es tracta d'un projecte dividit en dues parts independents però complementàries, realitzades per autors diferents. Aquest document conté originàriament altre material i/o programari només consultable a la Biblioteca de Ciència i Tecnologia".
Resum: Part 1: The proposal of this project arises as a result of the necessity to obtain a greater interaction between people and machines. In our case, between the user and the application that reproduces a dancer. In order to perform this project we work with the application "The Virtual Dancer", of which main goal is to dance with a human. The application picks the movements of the user up (by computer vision, implemented with C++), it processes them and it acts according to them (implemented with Java). For a greater interaction the application not only catches the movements. Now the application knows what movements it is receiving. In this way the interaction is "richer". Once the movements made by the user are known, the following step is to recognize groups of movements (choreographies), in other words, patterns of dance movements. While recognizing movement patterns, the application analyses the next chorus, introducing a new step to the user, changing the choreography, encouraging the user, and so on. It does it in an interactive way; a way that makes the user feels more comfortable, without cuts and abrupt movements of the virtual dancer. Part 2: During this project has been tried to detect user movements using the received data of a webcam. This function has been implemented inside the virtual dancer application. In this part of the project we receive treated data by the visual part of this application which gives us only some important data about the user like could be his centre of mass position or the radius round him. With this data has been searched a way to translate this data to a recognized movement (left step, right step, jump …). The method used has been the Markov Hidden Model, with this method we have created some graphs with the features of each movement to recognize, and analyzing an input data sequence over this graph, using the Viterbi's Algorithm, we can recognize movements done by the user with quite good results. After this, we have tried to improve the method to also detect complex patterns (left step+twister+jump…). To do this new function, we have adapted the simple movement recognition function, to receive the already recognized steps and detect some kind of patterns in these recognized movements. Finally we have done a function to generate the HMM graphs used to recognize complex patterns.
Resum: Part 1: La proposta d'aquest projecte sorgeix per la necessitat d'obtenir una major interacció entre persones i màquines. En el nostre cas, entre un usuari i una aplicació que reprodueix una ballarina. Per realitzar el següent projecte s'ha utilitzat l'aplicació "The Virtual Dancer", que té com a objectiu principal ballar amb l'usuari. L'aplicació capta els moviments de l'usuari (mitjançant visió per computador, implementada amb C++), els processa i actua segons ells (implementat amb Java). Per obtenir una major interacció, s'ha optat per fer que l'aplicació, no només capti els moviments, sinó que sàpiga què moviments està captant per a què, d'aquesta manera, la interacció sigui mes "rica". Una vegada es sap quins moviments fa l'usuari, el següent pas es reconèixer conjunts de moviments (coreografies), és a dir, patrons de moviments de ball. Reconeguem-te patrons de moviment, l'aplicació pot avançar-se a l'usuari en la següent tornada, introduïnt nous passos, variant la coreografia, animant l'usuari, etc. Però d'una manera interactiva, d'una manera que fa que l'usuari no percebi talls, ni moviments bruscos i es senti còmode. Part 2: Durant aquest projecte s'han intentat detectar moviments de l'usuari utilitzant la informació rebuda d'una càmera web. Aquesta funció ha estat implementada dins l'aplicació de la ballarina virtual. En aquesta part del projecte rebem informació ja tractada per la part visual de l'aplicació, la qual només ens dóna la informació més important de l'usuari, com podria ser la posició del seu centre de massa o el radi al voltant d'ell. Amb aquesta informació s'ha buscat una manera de traduir-la a un moviment reconegut (pas a la dreta, pas a la esquerra, salt,. . . ). El mètode utilitzat ha estat el Model Ocult de Markov. Amb aquest mètode hem creat alguns grafs amb les característiques de cadascun dels moviments a reconèixer, i analitzant una seqüència d'entrada sobre aquest graf, utilitzant l'algorisme de Viterbi, podem reconèixer els moviments realitzats per l'usuari amb uns resultats força bons. Després d'això, hem intentat millorar el mètode per també detectar patrons de moviment complexes (pas dret + twister + salt + . . . ). Per fer aquesta nova funcionalitat hem adaptat la funció de reconeixement de moviments simples per rebre els pasos simples ja reconeguts i detectar algun tipus de patró en aquests moviments. Finalment hem realitzat una funció per generar el grafs HMM utilitzats per reconèixer els patrons complexes de moviments.
Nota: Nota: Aquest document conté originàriament altre material i/o programari només consultable a la Biblioteca de Ciència i Tecnologia.
Drets: Aquest document està subjecte a una llicència d'ús de Creative Commons, amb la qual es permet copiar, distribuir i comunicar públicament l'obra sempre que se'n citin l'autor original, la universitat i l'escola i no se'n faci cap ús comercial ni obra derivada, tal com queda estipulat en la llicència d'ús Creative Commons
Llengua: Anglès
Titulació: Enginyeria Informàtica / Computer Engineering [4314660]
Col·lecció: Escola d'Enginyeria. Projectes i treballs de final de carrera. Enginyeria Informàtica
Document: Treball final de grau
Matèria: Interacció home-ordinador ; Casos, Estudis de ; Visió per ordinador ; Processament de dades ; Markov, Processos de



73 p, 1.2 MB

78 p, 810.5 KB

40 p, 832.6 KB

32 p, 572.5 KB

El registre apareix a les col·leccions:
Documents de recerca > Treballs de recerca i projectes de final de carrera > Enginyeria. TFM

 Registre creat el 2009-07-15, darrera modificació el 2022-07-16



   Favorit i Compartir