Detalles de la Vacante

Senior Data Engineer

Descripción

Empresa: Apex Systems LLC

Apex Systems México busca un Ingeniero de Datos Senior para diseñar, construir y optimizar tuberías de datos y marcos de replicación a escala empresarial dentro de arquitecturas modernas de lakehouse. Este rol se enfocará en implementar tuberías de ingesta y transformación escalables utilizando Databricks, Delta Lake y Spark, apoyando iniciativas de modernización de plataformas de datos a gran escala.

Experiencia requerida

5+ años de experiencia en Ingeniería de Datos construyendo tuberías de datos en producción.

Responsabilidades

Construir y configurar tuberías de replicación a nivel de tabla con Airbyte. Implementar estrategias de carga incremental y marcos de ingesta CDC. Desarrollar tuberías alineadas con arquitectura Medallion (capas raw, source, core, mart). Optimizar diseño de tablas Delta Lake, estrategias de particionamiento y rendimiento de Spark. Desarrollar scripts de validación de datos y enmascaramiento. Implementar monitoreo y lógica de reintentos. Colaborar con equipos de ingeniería, analítica y gobierno. Proporcionar mentoría a ingenieros junior.

Conocimientos técnicos

Databricks, Apache Spark, Airbyte, SQL, Python, Delta Lake (transacciones ACID, evolución de esquemas, viaje en el tiempo), arquitectura Medallion, lakehouse moderno, CI/CD, Git, Unity Catalog, Power BI, AWS/Azure.

Habilidades

Fuertes habilidades de comunicación, capacidad de trabajo en equipo, orientación a consultoría, proactividad para mejorar procesos y eficiencia operativa.

Experiencia

5+ años de experiencia en Ingeniería de Datos construyendo tuberías de datos en producción.

Conocimientos

Databricks, Apache Spark, Airbyte, SQL, Python, Delta Lake (transacciones ACID, evolución de esquemas, viaje en el tiempo), arquitectura Medallion, lakehouse moderno, CI/CD, Git, Unity Catalog, Power BI, AWS/Azure.

Habilidades

Fuertes habilidades de comunicación, capacidad de trabajo en equipo, orientación a consultoría, proactividad para mejorar procesos y eficiencia operativa.

Actividades

Construir y configurar tuberías de replicación a nivel de tabla con Airbyte. Implementar estrategias de carga incremental y marcos de ingesta CDC. Desarrollar tuberías alineadas con arquitectura Medallion (capas raw, source, core, mart). Optimizar diseño de tablas Delta Lake, estrategias de particionamiento y rendimiento de Spark. Desarrollar scripts de validación de datos y enmascaramiento. Implementar monitoreo y lógica de reintentos. Colaborar con equipos de ingeniería, analítica y gobierno. Proporcionar mentoría a ingenieros junior.

Idiomas

Inglés avanzado (no especificado, pero se infiere por el contexto de empresa global)

Datos Generales

Tipo de Contrato

Tiempo completo

Modalidad del Empleo

Presencial

Idioma

Inglés avanzado (no especificado, pero se infiere por el contexto de empresa global)