Desenvolupament d’un sistema de control multimodal a partir de moviments del cap, lectura labial i veu

Abstract

Aquest projecte presenta el disseny i la implementació d'un sistema de control multimodal per a ordinador, dissenyat per a ser utilitzat sense mans. L'objectiu és millorar l'accessibilitat tecnològica per a usuaris amb discapacitats motores severes. El sistema integra quatre modalitats d'interacció en temps real utilitzant només una webcam i un micròfon estàndard: el moviment del cap per al control del cursor, el gest d'aixecar les celles per fer clic, el reconeixement de veu (ASR) per a dictat i comandaments, i la lectura de llavis (VSR) com a mètode alternatiu d'entrada de text. S'ha desenvolupat un prototip funcional que valida la viabilitat d'integrar aquestes tecnologies en una única aplicació robusta i responsiva.