Sr Data Engineer/ 100% Remote in Mexico — Mexico

Empresa: Pyramid Consulting, Inc

Ingeniero de Datos Senior para trabajo remoto en México. Diseñar y mantener pipelines ETL/ELT, modelos de datos, Lakehouse y APIs, usando Azure y Databricks para procesamiento de datos en tiempo real y por lotes.

Experiencia requerida

Experiencia sólida en SQL y bases de datos relacionales (Oracle, SQL Server, MySQL); programación en Python, PySpark, PL/SQL, Java o Scala; experiencia con Azure Data Factory, Databricks, ADLS, Synapse, Event Hubs, Functions, API Management y DevOps; experiencia con arquitectura Lakehouse, Delta Lake, API development, microservicios, datos de alta frecuencia, streaming (Kafka, Event Hubs), Spark/Hadoop, OpenShift/Kubernetes/Docker, y orquestación con Airflow.

Responsabilidades

Diseñar y mantener pipelines ETL/ELT; construir y optimizar modelos de datos y Delta Tables; desarrollar e integrar APIs RESTful; implementar ingesta de datos en tiempo real; diseñar soluciones en Azure; desarrollar aplicaciones Spark; asegurar calidad, gobernanza y seguridad de datos; colaborar con equipos; monitorear y optimizar pipelines; soportar prácticas DataOps y CI/CD.

Conocimientos técnicos

SQL, Python, PySpark, PL/SQL, Java, Scala, Azure Data Factory, Databricks, ADLS, Synapse Analytics, Event Hubs, funciones de Azure, API Management, Azure DevOps, Delta Lake, Kafka, Spark, Hadoop, Kubernetes, Docker, Apache Airflow, arquitectura Lakehouse.

Habilidades

Colaboración con stakeholders, resolución de problemas, comunicación, orientación a calidad y gobierno de datos.