CS-10 — Plataformas de datos
ETL y calidad de datos financieros en una plataforma Big Data bancaria
Procesos ETL con Spark y validaciones de calidad de datos sobre grandes volúmenes de información bancaria en la plataforma Big Data de BBVA.
- Mi papel
- Data Finance Engineer (GFI / Bittek).
- Periodo
- 2018–2019
- Divulgación
- Detalles anonimizados
- Tecnologías
- Apache SparkPythonScalaSQLJupyterHadoopHDFSParquetAvro
- Última revisión
- 13 de noviembre de 2026
Contexto
Iniciativas Big Data en una entidad financiera: arquitecturas de procesamiento para grandes volúmenes de datos bancarios, centradas en ingesta, transformaciones ETL, modelado y calidad.
Retos
- 01Garantizar que la información financiera se procesa correctamente a gran escala.
- 02Nulos, campos ausentes, registros incorrectos y datos inconsistentes.
Solución y arquitectura
ETL y flujos de ingesta distribuidos con Spark (Python y Scala) sobre Hadoop/HDFS con Parquet y Avro, y lógica de validación y transformación: comprobaciones de completitud, validación de tipos, tratamiento de nulos, consistencia referencial, limpieza, validación de transformaciones, detección de registros anómalos, reglas de negocio, monitorización de calidad y, cuando procedía, reconstrucción o imputación de valores ausentes.
Decisiones clave
Aún no documentado
Compromisos
Aún no documentado
Resultados
Los resultados se publicarán una vez verificados
Aprendizajes
Aún no documentado
No se atribuyen certificaciones ni cumplimientos regulatorios concretos.
Pregunta sobre este caso de estudio
Las preguntas de aquí se responden con el caso de estudio «ETL y calidad de datos financieros en una plataforma Big Data bancaria» como contexto.