Senior Software Engineer - AI Agent Evaluation

Descripción

Empresa: Mindrift

Construcción de un conjunto de datos para evaluar agentes de IA en tareas reales de desarrollo. Crearás entornos simulados realistas, diseñarás tareas desafiantes y escribirás pruebas para verificar soluciones de agentes de IA. Colaboración por proyecto, no empleo permanente.

Experiencia requerida

5+ años en desarrollo de software

Responsabilidades

Crear entornos de desarrollo realistas, diseñar tareas desde estados intermedios, escribir pruebas de verificación, iterar con retroalimentación de QA y refinar evaluaciones

Conocimientos técnicos

Python (FastAPI), JavaScript/TypeScript (React), Docker, Postgres, Kafka, Redis, pruebas funcionales y de integración

Habilidades

Capacidad para entender fallos de modelos de IA, diseñar tareas desafiantes y escribir pruebas robustas que acepten soluciones correctas y rechacen incorrectas

Experiencia

5+ años en desarrollo de software

Conocimientos

Python (FastAPI), JavaScript/TypeScript (React), Docker, Postgres, Kafka, Redis, pruebas funcionales y de integración

Habilidades

Capacidad para entender fallos de modelos de IA, diseñar tareas desafiantes y escribir pruebas robustas que acepten soluciones correctas y rechacen incorrectas

Actividades

Crear entornos de desarrollo realistas, diseñar tareas desde estados intermedios, escribir pruebas de verificación, iterar con retroalimentación de QA y refinar evaluaciones