Generation of synthetic lesions in brain MRI (Magnetic Resonance Imaging) images using generative deep learning techniques

Abstract

L'esclerosi múltiple (EM) és una malaltia neurològica crònica caracteritzada per lesions a la substància blanca cerebral, la detecció precisa de les quals en imatges de ressonància magnètica (MRI) és clau per al diagnòstic i el seguiment, però continua sent un repte a causa de la disponibilitat limitada de dades anotades i la variabilitat entre escàners. Aquest treball explora l'ús de tècniques generatives d'aprenentatge profund, en concret models de difusió, per sintetitzar imatges realistes de cervell MRI i lesions de EM de forma controlada. Es presenten tres contribucions principals: (i) el desenvolupament de pipelines de difusió incondicionals i condicionals, incloent-hi Denoising Diffusion Probabilistic Models (DDPMs), Latent Diffusion Models (LDMs) i models de Stable Diffusion ajustats per a la síntesi de cervell sencer; (ii) la implementació d'un model d'inpainting basat en difusió per inserir lesions sintètiques de EM en regions sanes del cervell, guiades per màscares definides per l'usuari amb caixes delimitadores; i (iii) un mètode per recuperar automàticament màscares precises de les lesions generades, permetent crear dades parellades per entrenar models de segmentació. La validació es va dur a terme mitjançant mètriques quantitatives (FID, CMMD, LPIPS) i una enquesta cega amb experts (neuròlegs i radiòlegs), que va demostrar un alt realisme visual, especialment quan es generaven lesions sobre cervells sans reals. El pipeline complet permet generar dades sintètiques controlables i conscients del tipus d'escàner, contribuint a millorar la robustesa dels algoritmes de segmentació de lesions de EM en entorns amb escassetat de dades. El codi font i els models entrenats es posen a disposició pública per afavorir la reproducció i la recerca futura.

Multiple sclerosis (MS) is a chronic neurological disease characterized by lesions in the brain's white matter, whose accurate detection in MRI scans is crucial for diagnosis and monitoring but remains challenging due to limited annotated data and variability across scanners. This thesis explores the use of advanced generative deep learning, specifically diffusion models, to synthesize realistic brain MRI slices and controllable MS lesions. Three main contributions are presented: (i) development of unconditional and conditional diffusion pipelines, including Denoising Diffusion Probabilistic Models (DDPMs), Latent Diffusion Models (LDMs), and fine-tuned Stable Diffusion models adapted for whole-brain MRI synthesis; (ii) implementation of a diffusion-based inpainting model for inserting synthetic MS lesions within healthy brain regions, guided by user-defined bounding box masks; and (iii) a method to automatically recover accurate lesion masks from the generated images, enabling paired data generation for training segmentation models. The models were validated through quantitative metrics (FID, CMMD, LPIPS) and a blinded expert survey involving radiologists and neurologists, demonstrating high visual realism, especially when inpainting lesions on real healthy brains. The complete pipeline allows for controllable, scanner-aware synthetic data generation, contributing to improved robustness of MS lesion segmentation algorithms in data-scarce scenarios. The source code and trained models are made publicly available to support reproducibility and further research.

La esclerosis múltiple (EM) es una enfermedad neurológica crónica caracterizada por lesiones en la sustancia blanca cerebral, cuya detección precisa en imágenes de resonancia magnética (MRI) es crucial para el diagnóstico y seguimiento, pero sigue siendo un desafío debido a la escasez de datos anotados y a la variabilidad entre escáneres. Esta tesis explora el uso de técnicas generativas de aprendizaje profundo, en particular modelos de difusión, para sintetizar imágenes realistas de cerebro MRI y lesiones de EM de forma controlada. Se presentan tres contribuciones principales: (i) el desarrollo de pipelines de difusión incondicionales y condicionales, incluyendo Denoising Diffusion Probabilistic Models (DDPMs), Latent Diffusion Models (LDMs) y modelos de Stable Diffusion afinados para la síntesis de cerebro completo; (ii) la implementación de un modelo de inpainting basado en difusión para insertar lesiones sintéticas de EM en regiones sanas del cerebro, guiadas por máscaras de caja delimitadora definidas por el usuario; y (iii) un método para recuperar automáticamente máscaras precisas de las lesiones generadas, permitiendo la creación de datos pareados para entrenar modelos de segmentación. Los modelos se validaron mediante métricas cuantitativas (FID, CMMD, LPIPS) y una encuesta ciega con expertos (neurólogos y radiólogos), demostrando un alto realismo visual, especialmente al inyectar lesiones en cerebros sanos reales. El pipeline completo permite la generación controlable de datos sintéticos, conscientes del escáner, contribuyendo a mejorar la robustez de los algoritmos de segmentación de lesiones de EM en escenarios con escasez de datos. El código fuente y los modelos entrenados se publican para garantizar la reproducibilidad y fomentar la investigación futura.