GAN for document enhancement

Abstract

In recent years, the introduction of Machine Learning together with the use of conventional image processing techniques has given a boost to automated document processing. One of the main issues that has compromised the performance of these automated systems has been the degradation the documents may present. Some kinds of degradation, such as document artifacts (watermarks, strips, stains?) or scan distortions can be difficult to remove with conventional methods, resulting in the deterioration of OCR systems. This study attempts to provide an end-to-end framework based on conditional GANs (cGANs) that restore degraded document images. Specifically, it intends to improve the text quality in documents to enhance the performance of subsequent automation systems. The outcome has been very satisfactory as the framework has been able to significantly increase the automation rate of the projects it has been tested in.

Recientemente, la aparición del Machine Learning conjuntamente con el uso de técnicas convencionales de procesamiento de imagen han propiciado un considerable salto de calidad en los sistemas de procesado automático de documentos. Sin embargo, uno de los factores que ha comprometido el rendimiento de estos sistemas son las diversas formas de degradación presentes en los documentos a tratar. La presencia de artefactos no deseados, tales como marcas de agua, manchas, garabatos u otros tipos de distorsiones que se pueden generar a la hora de escanear los documentos pueden resultar extremadamente difíciles de eliminar mediante técnicas convencionales. Este hecho conlleva una degradación en los sistemas OCR encargados de analizar el texto. Este estudio presenta un sistema basado en cGANs (conditional GANs) que restaura las imágenes de documentos degradados. El sistema es capaz de eliminar ciertos tipos de degradaciones, mejorando la calidad del texto presente en los documentos. El resultado ha sido sumamente satisfactorio, ya que se ha observado una considerable mejora en el rendimiento de los sistemas en los que se ha incluido el módulo diseñado, hecho que se ha traducido en un aumento en las tasas de automatización de los proyectos testados.

Recentment, l’aparició del Machine Learning conjuntament amb l’ús de tècniques convencionals de processament d’imatge han propiciat un considerable salt de qualitat pel que fa als sistemes de processat automàtic de documents. No obstant això, un dels factors que ha compromès el rendiment d’aquests sistemes són les diverses formes de degradació presents en els documents a tractar. La presència d’artefactes no desitjats, com ara marques d’aigua, taques, gargots o d’altres tipus de distorsions que es poden generar a l’hora d’escanejar els documents poden resultar extremadament difícils d’eliminar mitjançant tècniques convencionals. Aquest fet comporta una degradació en els sistemes OCR encarregats d’analitzar el text. Aquest estudi presenta un sistema basat en cGANs (conditional GANs) que restaura les imatges de documents degradats. El sistema és capaç d’eliminar certs tipus de degradacions, millorant la qualitat del text present en els documents. El resultat ha estat summament satisfactori, ja que s’ha observat una considerable millora en el rendiment dels sistemes en els quals s’ha inclòs el mòdul dissenyat, fet que s’ha traduït en un augment en les taxes d’automatització dels projectes testats.