Unsupervised atom embedding generation for crystal property prediction

Abstract

Aquest projecte té com a objectiu millorar la predicció de propietats cristal·lines, un pas clau per accelerar el descobriment de nous materials. La proposta consisteix a aprofitar la informació extreta d'estructures cristal·lines no etiquetades per compensar l'escassetat de dades etiquetades i reduir la dependència de càlculs teòrics costosos. S'investiguen dos mètodes: un preentrenament que aprèn representacions dels àtoms integrant un autocodificador de reducció de soroll amb aprenentatge contrastiu autosupervisat, i una estratègia d'aprenentatge multitasca que optimitza conjuntament la predicció de propietats i tasques auxiliars de reconstrucció. Tots dos mètodes es basen en CartNet, una xarxa neuronal de grafs dissenyada específicament per a materials cristal·lins. Els nostres resultats mostren que representar cada àtom del graf cristal·lí d'entrada al model mitjançant representacions vectorials preentrenades condueix al millor rendiment, amb una millora del 2,3% respecte el punt de partida, i guanys superiors en escenaris amb dades etiquetades limitades. El codi està disponible públicament a: https://github.com/LauraSola/Unsupervised-Atom-Embedding-Gen.git

This project aims to enhance crystal property prediction, a critical step in accelerating materials discovery. It leverages structural information extracted from unlabeled crystal structures to compensate for the scarcity of labeled data and reduce reliance on expensive theoretical calculations. We investigate two methods: a pretraining framework that learns robust representations by integrating an unsupervised denoising autoencoder with self-supervised contrastive learning, and a multitask learning strategy that jointly optimizes property prediction along with auxiliary reconstruction tasks. Both methods are built upon CartNet, a graph neural network specifically designed for crystalline materials. Experimental results show that representing each atom in the crystal graph with pretrained node embeddings as input features yields the best performance, achieving a 2,3% improvement over the baseline and increased gains in scenarios with limited labeled data. The code is publicly available at: https://github.com/LauraSola/Unsupervised-Atom-Embedding-Gen.git

Este proyecto tiene como objetivo mejorar la predicción de propiedades cristalinas, un paso clave para acelerar el descubrimiento de nuevos materiales. La propuesta consiste en aprovechar la información extraída de estructuras cristalinas no etiquetadas para compensar la escasez de datos etiquetados y reducir la dependencia de cálculos teóricos costosos. Se investigan dos métodos: un preentrenamiento que aprende representaciones de los átomos integrando un autocodificador de reducción de ruido con aprendizaje contrastivo autosupervisado, y una estrategia de aprendizaje multitarea que optimiza conjuntamente la predicción de propiedades y tareas auxiliares de reconstrucción. Ambos métodos se basan en CartNet, una red neuronal de grafos diseñada específicamente para materiales cristalinos. Nuestros resultados muestran que representar cada átomo del grafo cristalino de entrada al modelo mediante representaciones vectoriales preentrenadas conduce al mejor rendimiento, con una mejora del 2,3% respecto al punto de partida y mayores ganancias en escenarios con datos etiquetados limitados. El código está disponible públicamente en: https://github.com/LauraSola/Unsupervised-Atom-Embedding-Gen.git