2026-04-05T11:48:54Zhttps://recercat.cat/oai/requestoai:recercat.cat:2117/4152702025-07-23T05:47:04Zcom_2072_1033col_2072_452951
Comparació de rendiment i costos entre Delta Lake i Snowflake
Sánchez Alonso, Violeta
Àrees temàtiques de la UPC::Informàtica::Enginyeria del software
SQL (Computer program language)
Cloud computing
Performance
Benchmarking (Management)
Delta Lake
Snowflake
anàlisis empresarial
SQL
emmagatzematge de dades al núvol
rendiment
costos
índex de referència
Delta Lake
Snowflake
business analysis
SQL
cloud data storage
performance
costs
benchmark
SQL (Llenguatge de programació)
Computació en núvol
Rendiment
Referenciació (Economia)
Aquest treball presenta una comparació detallada entre les tecnologies Delta Lake i Snowflake per a l'anàlisi de dades emmagatzemades al núvol. Mitjançant l'ús del benchmark TPC-DS, s'avalua el rendiment de les dues plataformes en termes de velocitat de resposta, eficiència en la gestió de dades i capacitat per satisfer les necessitats analítiques empresarials. Les dades emmagatzemades a Azure Data Lake Storage (ADLS) s'integren tant amb Snowflake com amb Databricks, utilitzant tècniques específiques per a cada plataforma. Els experiments es basen en un conjunt de mètriques clau, com la mida de còmput, el temps d'execució i el cost, per avaluar el rendiment i els costos associats amb cada operació. A més, es prenen mesures per assegurar la comparabilitat dels clústers de computació entre les dues plataformes i s'evita l'ús de memòria cau per garantir la consistència dels resultats. L'anàlisi dels resultats permetrà arribar a una conclusió informada sobre les capacitats i limitacions de cada tecnologia per a l'anàlisi de dades empresarials.
This study provides an exhaustive comparison between Delta Lake and Snowflake technologies for cloud-based data analysis. Leveraging the TPC-DS benchmark, the performance of both platforms is evaluated across criteria such as response time, data management efficiency, and their suitability for fulfilling enterprise analytical requirements. The integration of data stored in Azure Data Lake Storage (ADLS) with Snowflake and Databricks is feasible by employing platform-specific techniques. Experiments are designed around key metrics, including compute size, execution duration, and cost, aiming to measure performance and associated expenses for each operation. Moreover, measures are applied to ensure the comparability of compute clusters between both platforms and avoid caching to guarantee result consistency. The analysis of findings will lead to a well-founded conclusion regarding the strengths and weaknesses of each technology for enterprise-grade data analysis.
2024-06-26
Bachelor thesis
Open Access
Universitat Politècnica de Catalunya