Etiqueta: data-engineering
Explora 8 recursos prácticos de ingeniería de software etiquetados con "data-engineering". Descubre recetas de código, patrones de diseño, plantillas de documentación y guías detalladas para ayudarte a construir, desplegar y mantener soluciones listas para producción con data-engineering.
Ingenieria de Datos
La ingenieria de datos construye los pipelines e infraestructura que transforman datos crudos en productos usables. Requiere habilidades en almacenamiento, procesamiento, orquestacion y calidad.
Los recursos a continuacion cubren ETL, data lakes, pipelines, orquestacion, calidad de datos y streaming. Cada guia te ayuda a construir sistemas de datos confiables y escalables.
Cada recurso incluye explicaciones claras, ejemplos de codigo y advertencias sobre errores comunes. Usa estos materiales para tomar decisiones informadas, evitar problemas en produccion y acelerar tu flujo de trabajo. Si estas empezando, lee primero los articulos marcados como principiante; si ya tienes experiencia, ve directo a los patrones avanzados y las guias de arquitectura.
Plantilla de Política de Gobernanza de Datos
Una plantilla para clasificación, retención, control de acceso, privacidad y cumplimiento de datos...
Plantilla de Documento de Diseño de Data Pipeline
Una plantilla para documentar sources, transforms, sinks, scheduling, error handling y monitoring...
Plantilla de Reglas de Calidad de Datos (SQL + dbt)
Una plantilla lista para copiar y definir reglas de validación por dataset y columna, con niveles...
Plantilla de Runbook para Jobs ETL
Un runbook para operar, monitorear y troubleshootear jobs ETL: startup, shutdown, health checks,...
Apache Airflow: DAGs, Operadores, Scheduling
Dominá Apache Airflow: DAGs, operadores, sensores, XCom, scheduling, backfilling, connections,...
Pipelines de Datos: Batch, Streaming, Lambda y Kappa
Diseñá pipelines de datos batch y streaming: código funcional con Airflow, Flink y dbt, diferencias...
Guía de Data Quality
Dominá data quality: frameworks de validación, profiling, schema enforcement, anomaly detection y...
dbt: Modelos, Tests, Macros, Materializations
Dominá dbt para data transformations: modelos, tests, macros, materializations, seeds, snapshots,...