Deep learning techniques are a main trend in computer vision but still with little exploration in the field of visual search in big data. One topic of interest is finding instances of objects, people or locations in a large dataset of videos. Student is required to develop and test new solutions based on convolutional neural networks. Related works: DCU @ TRECVID Instance Search 2014 https://imatge.upc.edu/web/publications/insight-centre-data-analytics-dcu-trecvid-2014-instance-search-and-semantic-indexing Sergi Porta BSc thesis (2015): https://imatge.upc.edu

This work explores diverse practices for conducting an object search from large amounts of egocentric images taking into account their temporal information. The application of this technology is to identify where personal belongings were lost or forgotten. We develop a pipeline-structured system. Firstly, the images of the day being scanned are sorted based on their probability to depict the forgotten object. This stage is solved by applying an existing visual search engine based on deep learning features. Secondly, a learned threshold selects the top ranked images as candidates to contain the object. Finally the images are reranked based on temporal and diversity criteria. Furthermore, we build a validation environment for assessing the system's performance aiming to find the optimal configuration of its parameters. Due to the lack of related works to be compared with, this thesis proposes an novel evaluation framework and metric to assess the problem.

Este trabajo explora diversas prácticas para realizar búsqueda de objetos en grandes volumenes de imágenes egocéntricas considerando, además, la información temporal de estas con el objetivo de identificar el lugar donde se han dejado, perdido o olvidado objetos personales. Desarrollamos un sistema con estructura secuencial de etapas. En primer lugar, se lleva a cabo una búsqueda de las imagenes con más probabilidad de describir el objeto. Esta etapa se realiza aplicando motores de búsqueda visual ya existentes basados en \textit{deep learning}. En segundo lugar, un umbral aprendido escoge las mejores imágenes como candidatas a contener el objeto. Finalmente, las imágenes son reordenadas temporalmente aplicando criterios de diversidad. Además, construimos un entorno de validación del funcionamiento del sistema con el objetivo de encontrar la configuración óptima de sus parámetros. Dado que no hay trabajos similares con los que nos podamos comparar, el trabajo define un entorno y una métrica para la evaluación del problema.

Aquest treball explora diverses pràctiques per realitzar cerca d'objectes en grans volums d'imatges egocèntriques considerant, a més, la informació temporal d'aquestes amb l'objectiu d'identificar on s'han deixat, perdut o oblidat els objectes personals. Desenvolupem un sistema amb estructura seqüencial d'etapes. En primer lloc, es duu a terme una cerca de les imatges que tenen més probabilitat de descriure l'objecte. Aquesta etapa es realitza aplicant motors de cerca visual ja existents basats en \textit{deep learning}. En segon lloc, un llindar après escull les millors imatges com a candidates a contenir l'objecte. Finalment, les imatges són reordenades temporalment aplicant criteris de diversitat. A més, construïm un entorn de validació del funcionament del sistema amb l'objectiu de trobar la configuració òptima dels seus paràmetres. Donat que no hi ha treballs similars amb els què ens poguem comparar, el treball defineix un entorn i una mètrica per a l'avaluació del problema.