Detalles de la Vacante

Empresa: Banorte

Diseñar, ejecutar y mantener estrategias de prueba y validación integral para soluciones de inteligencia artificial generativa de la Dirección de Inteligencia Artificial e Innovación de Banorte, incluyendo evaluación de calidad de LLMs, pruebas funcionales y de regresión de sistemas RAG, benchmarking de agentes, medición de alucinación, detección de sesgos y aseguramiento de desempeño, contribuyendo a elevar la confiabilidad de las soluciones antes y después de su despliegue productivo.

Experiencia requerida

1-2 años en pruebas de software, QA, testing de APIs o evaluación de soluciones de IA, preferentemente con exposición a proyectos de IA generativa.

Responsabilidades

Diseñar casos de prueba, datasets de evaluación y protocolos de validación para soluciones GenAI, agentes y sistemas RAG; ejecutar pruebas automatizadas y manuales sobre modelos generativos; construir suites de evaluación reproducibles con herramientas como Ragas, DeepEval, promptfoo, LangSmith, Langfuse o equivalentes, integradas en pipelines CI/CD; detectar y documentar defectos, degradaciones, alucinaciones críticas y regresiones; apoyar pruebas de seguridad de LLMs; validar integraciones entre soluciones GenAI, APIs empresariales, bases vectoriales y servicios en la nube; mantener tableros y reportes de calidad con métricas clave.

Conocimientos técnicos

Programación en Python; bibliotecas de testing: pytest, unittest, hypothesis; fundamentos de LLMs, embeddings, transformers; herramientas de evaluación y observabilidad de IA (LangSmith, Langfuse, Ragas, promptfoo, DeepEval, Helicone); uso de APIs de LLMs (OpenAI, Azure, Google Vertex AI); métricas de calidad para GenAI: faithfulness, answer relevance, context precision, groundedness, ROUGE, BLEU, BERTScore; fundamentos de seguridad de LLMs (OWASP LLM Top 10), prompt injection y jailbreaking; integración de pruebas en pipelines CI/CD (Azure DevOps, GitHub Actions, Gitlab); manejo de Git, control de versiones de datasets y trazabilidad de experimentos.

Habilidades

Comunicar hallazgos técnicos con claridad (reportes, tableros, presentaciones).

Escolaridad

Ingeniería o licenciatura en Computación, Inteligencia Artificial, Ciencias de la Computación, Data Science, Ingeniería de Software o áreas relacionadas.