AI Evaluation Engineer — Mexico

Empresa: Jobgether

Diseñar y construir infraestructura de evaluación, testing y observabilidad para agentes de IA en producción, con pipelines CI/CD automatizados, datasets de regresión, pruebas adversariales y métricas estadísticas de confiabilidad.

Experiencia requerida

Experiencia construyendo pipelines de evaluación de LLM, frameworks de testing de IA o sistemas de pruebas estadísticas, e integración de tests automatizados en CI/CD.

Responsabilidades

Diseñar pipelines CI/CD de testing para agentes de IA, mantener datasets golden de regresión, implementar checks deterministas, crear suites para conversaciones multi-turno, diseñar pruebas adversariales, construir frameworks estadísticos, integrar observabilidad y optimizar costos de evaluación.

Conocimientos técnicos

Python o TypeScript, LLM evaluation pipelines, CI/CD con GitHub Actions, validación de JSON schema y OpenAPI, OpenTelemetry, LangSmith, Arize Phoenix, W&B Weave, LangChain, LlamaIndex, AutoGen, CrewAI, embeddings, bases de datos vectoriales, load testing.

Habilidades

Diseño independiente de arquitectura de evaluación, ownership, juicio técnico, comunicación escrita en inglés, proactividad analítica y adaptación a tecnologías cambiantes.

Prestaciones y beneficios

Trabajo totalmente remoto, horario flexible, desarrollo profesional pagado, tecnología moderna, oportunidades de proyecto constantes, reconocimiento de desempeño, compensación negociable, contrato de contratista independiente con pagos mensuales por transferencia.