Etiqueta: data-engineering
Explora 8 recursos prácticos de ingeniería de software etiquetados con "data-engineering". Descubre recetas de código, patrones de diseño, plantillas de documentación y guías detalladas para ayudarte a construir, desplegar y mantener soluciones listas para producción con data-engineering.
Ingenieria de Datos
La ingenieria de datos construye los pipelines e infraestructura que transforman datos crudos en productos usables. Requiere habilidades en almacenamiento, procesamiento, orquestacion y calidad.
Los recursos a continuacion cubren ETL, data lakes, pipelines, orquestacion, calidad de datos y streaming. Cada guia te ayuda a construir sistemas de datos confiables y escalables.
Cada recurso incluye explicaciones claras, ejemplos de codigo y advertencias sobre errores comunes. Usa estos materiales para tomar decisiones informadas, evitar problemas en produccion y acelerar tu flujo de trabajo. Si estas empezando, lee primero los articulos marcados como principiante; si ya tienes experiencia, ve directo a los patrones avanzados y las guias de arquitectura.
Plantilla de Política de Gobernanza de Datos
Una plantilla para clasificación, retención, control de acceso, privacidad y cumplimiento de datos...
Plantilla de Documento de Diseño de Data Pipeline
Una plantilla para documentar sources, transforms, sinks, scheduling, error handling y monitoring...
Plantilla de Reglas de Calidad de Datos
Una plantilla para definir reglas de validación por dataset y columna: completeness, consistency,...
Plantilla de Runbook para Jobs ETL
Un runbook para operar, monitorear y troubleshootear jobs ETL: startup, shutdown, health checks,...
Apache Airflow: DAGs, Operadores, Scheduling
Dominá Apache Airflow: DAGs, operadores, sensores, XCom, scheduling, backfilling, connections,...
Arquitectura de Data Pipelines: Batch, Streaming, Lambda
Dominá arquitectura de data pipelines: batch processing, streaming, patrones lambda y kappa, ETL vs...
Guía de Data Quality
Dominá data quality: frameworks de validación, profiling, schema enforcement, anomaly detection y...
dbt: Modelos, Tests, Macros, Materializations
Dominá dbt para data transformations: modelos, tests, macros, materializations, seeds, snapshots,...