About the Position

En Paradigma seguimos creciendo y buscamos un/a AI Trust Engineer Senior que nos ayude a garantizar la calidad, fiabilidad, trazabilidad y seguridad de nuestros sistemas de Inteligencia Artificial, LLMs y arquitecturas agénticas.

Importante: no buscamos un perfil de QA tradicional centrado en testing funcional. Buscamos un/a ingeniero/a capaz de entender cómo se comportan los modelos y agentes, medir objetivamente su calidad y construir los mecanismos que permitan evaluarlos y monitorizarlos de forma continua.

Responsibilities

Observabilidad de LLMs y agentes

Instrumentar aplicaciones de IA utilizando Langfuse u otras herramientas equivalentes.
Capturar y analizar trazas completas: prompts, respuestas, llamadas a herramientas, pasos intermedios de agentes, latencia, tokens y costes.
Investigar comportamientos y detectar degradaciones o anomalías en producción.
Construir dashboards y alertas con Grafana para monitorizar calidad, rendimiento, latencia y costes.
Trabajar con estándares como OpenTelemetry aplicados a sistemas de IA.

Evaluación de LLMs

Diseñar y ejecutar evaluaciones utilizando frameworks como Ragas y DeepEval.
Trabajar con métricas de faithfulness, relevancia, precisión y exhaustividad del contexto en sistemas RAG, alucinaciones y uso correcto de herramientas.
Diseñar benchmarks y datasets de referencia para comparar versiones de forma reproducible.
Aplicar técnicas como Human-in-the-Loop y LLM-as-a-Judge, entendiendo sus limitaciones y posibles sesgos.
Evaluar la robustez y seguridad de sistemas de IA frente a sesgos, prompt injection y jailbreaks.
Definir métricas objetivas y criterios de aceptación adaptados a cada caso de uso.

Automatización y Quality Gates

Integrar evaluaciones de IA dentro de pipelines CI/CD.
Construir quality gates que permitan bloquear cambios que no cumplan los umbrales de calidad definidos.
Automatizar la evaluación de cambios en modelos, prompts, configuraciones y agentes.
Desarrollar herramientas y evaluaciones en Python, aplicando buenas prácticas de ingeniería de software.

Calidad y mejora continua

Construir y mantener un motor de evaluación basado en datasets versionados.
Detectar regresiones y comparar de forma reproducible el comportamiento entre versiones.
Garantizar la trazabilidad de las respuestas: contexto utilizado, modelo, versión del prompt y pasos intermedios del agente.
Definir y analizar KPIs de calidad e identificar oportunidades de mejora.
Comunicar el estado de la calidad de las soluciones tanto a perfiles técnicos como de negocio.

Requirements

Required Skills

AI Quality Engineering
Software Engineering
MLOps
Observability
Data/AI Engineering
Ragas
DeepEval
Langfuse
CI/CD
Python
LLMs
RAG
Agent Architectures
Grafana
OpenTelemetry
Security
Robustness

Experience

Buscamos una persona con +4 años de experiencia profesional en ámbitos como:

AI Quality Engineering
Software Engineering
MLOps
Observability
Data/AI Engineering

Y, especialmente, con experiencia práctica en IA generativa llevada a producción.

Nice to Have

Experiencia real con Ragas y/o DeepEval.
Experiencia con Langfuse u otras plataformas de observabilidad de LLMs/agentes.
Experiencia integrando evaluaciones automatizadas como quality gates en CI/CD.
Conocimientos sólidos de Python.
Experiencia trabajando con LLMs, RAG y arquitecturas agénticas.
Conocimientos de métricas y metodologías de evaluación de LLMs.
Experiencia con Grafana y, valorable, OpenTelemetry.
Conocimientos sobre seguridad y robustez de sistemas de IA.
Capacidad para interpretar resultados y convertirlos en acciones de mejora.

We Offer

Flexibilidad y trabajo en remoto.
Libertad y responsabilidad: son parte de nuestros pilares; trabajo sin jerarquías basado en la autogestión.
Últimas tecnologías: trabajamos con las tecnologías más punteras y en las empresas más importantes.
Lifelong Learning: a través de seminarios, meetups, clases de inglés y ayudas para realizar cursos/ certificaciones, asistencia a eventos...
Y, además, tenemos seguro médico, gimnasio y fisio en la oficina, diferentes Comunidades (cocinera, deportiva), vacaciones 24 y 31 de diciembre y el día del cumpleaños, programa de gamificación… ¡y muchos más beneficios!
Paradigma es una empresa que ofrece un entorno de trabajo diverso e inclusivo donde el respeto por las personas es lo más importante. Aseguramos la no discriminación por razones de género, edad, raza, religión, orientación sexual o cualquier otra condición o circunstancia personal o social. Nos esforzamos en garantizar la igualdad de oportunidades y salarial entre hombres y mujeres por trabajos de igual valor.

About the Company

Envía tu CV.

Envía tu CV por LinkedIn.

Crecemos contigo.

Aunque no hayas localizado una oferta en la que encajes, nos gustaría conocerte.

¡Necesitamos talento de forma continua!

Ver más oportunidades.

Talento

Join Our Team

Senior Security Architect (API Security Specialist)

Senior AI Platform Engineer (LLM Gateway)

Back-end

Arquitecto/a Backend Senior

Ver todas las oportunidades.