CS-10 — Datu-plataformak
Datu finantzarioen ETL eta kalitatea banku-arloko Big Data plataforma batean
Spark bidezko ETL prozesuak eta datuen kalitate-balidazioak banku-informazioaren bolumen handien gainean, BBVAren Big Data plataforman.
- Nire eginkizuna
- Data Finance Engineer (GFI / Bittek).
- Aldia
- 2018–2019
- Zabalkundea
- Xehetasun anonimizatuak
- Teknologiak
- Apache SparkPythonScalaSQLJupyterHadoopHDFSParquetAvro
- Azken berrikuspena
- 2026(e)ko azaroaren 13(a)
Testuingurua
Big Data ekimenak finantza-erakunde batean: banku-datuen bolumen handietarako prozesamendu-arkitekturak, ingestioan, ETL transformazioetan, modelizazioan eta kalitatean zentratuak.
Erronkak
- 01Informazio finantzarioa eskala handian behar bezala prozesatzen dela bermatzea.
- 02Nuluak, falta diren eremuak, erregistro okerrak eta datu inkoherenteak.
Irtenbidea eta arkitektura
ETL eta ingestio-fluxu banatuak Spark-ekin (Python eta Scala) Hadoop/HDFS gainean, Parquet eta Avro-rekin, eta balidazio- eta transformazio-logika: osotasun-egiaztapenak, moten balidazioa, nuluen tratamendua, erreferentzia-koherentzia, garbiketa, transformazioen balidazioa, erregistro anomaloen detekzioa, negozio-arauak, kalitatearen monitorizazioa eta, egokia zenean, falta ziren balioen berreraikitzea edo inputazioa.
Erabaki nagusiak
Oraindik dokumentatu gabe
Konpromisoak
Oraindik dokumentatu gabe
Emaitzak
Emaitzak egiaztatu ondoren argitaratuko dira
Ikasgaiak
Oraindik dokumentatu gabe
Ez zaio ziurtagiri edo araudi-betetze zehatzik egozten.
Galdetu kasu-azterketa honi buruz
Hemengo galderak «Datu finantzarioen ETL eta kalitatea banku-arloko Big Data plataforma batean» kasu-azterketa testuinguru gisa hartuta erantzuten dira.