Databricks Engineer — Mexico

Empresa: Apex Systems

Ingeniero Senior de Databricks para liderar el diseno e implementacion de una arquitectura Lakehouse moderna, migrando soluciones de datos legadas a pipelines escalables con PySpark y Delta Lake.

Experiencia requerida

6+ anos en ingenieria de datos con 3+ anos de experiencia practica en Databricks; migracion de plataformas legadas SQL Server, SSIS y ADF; liderazgo tecnico de implementaciones.

Responsabilidades

Arquitectar e implementar soluciones de datos end-to-end en Databricks Lakehouse; disenar pipelines de ingesta, transformacion y servido con PySpark, Spark SQL y Delta Lake; establecer practicas medallion; liderar migracion de Azure SQL, SSIS y ADF a workflows nativos de Databricks; convertir T-SQL y logica ETL a procesamiento Spark; implementar Auto Loader, CDF y patrones de streaming/batch; definir gobernanza con Unity Catalog; optimizar rendimiento; guiar validacion y reconciliacion entre salidas SQL legadas y pipelines Delta; realizar code reviews y mentorias.

Conocimientos técnicos

PySpark, Spark SQL, Delta Lake, arquitectura medallion Bronze Silver Gold, ETL/ELT, modelado de datos, Auto Loader, Change Data Feed, Unity Catalog, RBAC, linaje de datos, optimizacion con Photon, particionamiento, Z-Order, ajuste de clusters, ecosistema Azure (ADLS, ADF).

Habilidades

Liderazgo tecnico, mentoria de ingenieros junior y mid-level, revision de codigo, comunicacion con stakeholders, promocion de buenas practicas de ingenieria.

Escolaridad

Licenciatura en Ciencias de la Computacion, Ingenieria, Sistemas de Informacion o experiencia equivalente.