Verifiable report generation: a GraphRAG approach to grounded security analysis

Abstract

Treball fi de màster de: Master's Degree in Data Science. Master Program in Data Science for Decision Making. Curs 2024-2025

Tutors: Hannes Mueller i Vanina Martínez

The United Nations places community protection at the core of its humanitarian mission, requiring resource deployment in volatile, high-risk areas. We present a tool leveraging up-to-date conflict and political event data to generate comprehensive country reports. The automated pipeline includes data ingestion, Knowledge Graph construction, GraphRAG-based report generation, self-evaluation using large language models. To address traditional RAG limitations in processing complex geopolitical queries, we adopt GraphRAG, integrating knowledge graph structures into retrieval processes. This improves precision by leveraging entity and relationship awareness, enabling accurate, explainable analyses. GraphRAG enhances synthesis from diverse sources — conflict data, humanitarian reporting, socio-political indicators — resulting in actionable assessments.

Les Nacions Unides situen la protecció comunitària al centre de la seva missió humanitària, cosa que requereix el desplegament de recursos en zones volàtils i d'alt risc. Presentem una eina que aprofita dades actualitzades sobre conflictes i esdeveniments polítics per generar informes complets sobre els països. El procés automatitzat inclou la ingestió de dades, la construcció de gràfics de coneixement, la generació d'informes basats en GraphRAG i l'autoavaluació mitjançant models de llenguatge grans. Per abordar les limitacions tradicionals dels RAG en el processament de consultes geopolítiques complexes, adoptem GraphRAG, integrant estructures de gràfics de coneixement en els processos de recuperació. Això millora la precisió aprofitant el coneixement de les entitats i les relacions, permetent anàlisis precises i explicables. GraphRAG millora la síntesi de diverses fonts (dades de conflictes, informes humanitaris, indicadors sociopolítics), donant lloc a avaluacions accionables.