AI Trust Engineer Senior
Primary stack
Job description
About the Position
AI Trust Engineer Senior
A distancia
Tiempo completo
Empleado permanente
¡Forma parte del futuro de Paradigma!
En Paradigma seguimos creciendo y buscamos un/a AI Trust Engineer Senior que nos ayude a garantizar la calidad, fiabilidad, trazabilidad y seguridad de nuestros sistemas de Inteligencia Artificial, LLMs y arquitecturas agénticas.
Responsibilities
Tu misión será diseñar y operar los mecanismos de evaluación, observabilidad y gobierno de sistemas de IA, aportando evidencias objetivas de que su comportamiento cumple con los requisitos funcionales, técnicos y de negocio.
Observabilidad de LLMs y agentes
- Instrumentar aplicaciones de IA utilizando Langfuse u otras herramientas equivalentes.
- Capturar y analizar trazas completas: prompts, respuestas, llamadas a herramientas, pasos intermedios de agentes, latencia, tokens y costes.
- Investigar comportamientos y detectar degradaciones o anomalías en producción.
- Construir dashboards y alertas con Grafana para monitorizar calidad, rendimiento, latencia y costes.
- Trabajar con estándares como OpenTelemetry aplicados a sistemas de IA.
Evaluación de LLMs
- Diseñar y ejecutar evaluaciones utilizando frameworks como Ragas y DeepEval.
- Trabajar con métricas de faithfulness, relevancia, precisión y exhaustividad del contexto en sistemas RAG, alucinaciones y uso correcto de herramientas.
- Diseñar benchmarks y datasets de referencia para comparar versiones de forma reproducible.
- Aplicar técnicas como Human-in-the-Loop y LLM-as-a-Judge, entendiendo sus limitaciones y posibles sesgos.
- Evaluar la robustez y seguridad de sistemas de IA frente a sesgos, prompt injection y jailbreaks.
- Definir métricas objetivas y criterios de aceptación adaptados a cada caso de uso.
Automatización y Quality Gates
- Integrar evaluaciones de IA dentro de pipelines CI/CD.
- Construir quality gates que permitan bloquear cambios que no cumplan los umbrales de calidad definidos.
- Automatizar la evaluación de cambios en modelos, prompts, configuraciones y agentes.
- Desarrollar herramientas y evaluaciones en Python, aplicando buenas prácticas de ingeniería de software.
Calidad y mejora continua
- Construir y mantener un motor de evaluación basado en datasets versionados.
- Detectar regresiones y comparar de forma reproducible el comportamiento entre versiones.
- Garantizar la trazabilidad de las respuestas: contexto utilizado, modelo, versión del prompt y pasos intermedios del agente.
- Definir y analizar KPIs de calidad e identificar oportunidades de mejora.
- Comunicar el estado de la calidad de las soluciones tanto a perfiles técnicos como de negocio.
Requirements
Debes tener experiencia en:
- +4 años de experiencia profesional en ámbitos como:
- AI Quality Engineering
- Software Engineering
- MLOps
- Observabilidad
- Ingeniería de datos/IA
Y, especialmente, con experiencia práctica en IA generativa llevada a producción.
Nos interesa especialmente que tengas:
- Experiencia real con Ragas y/o DeepEval.
- Experiencia con Langfuse u otras plataformas de observabilidad de LLMs/agentes.
- Experiencia integrando evaluaciones automatizadas como quality gates en CI/CD.
- Conocimientos sólidos de Python.
- Experiencia trabajando con LLMs, RAG y arquitecturas agénticas.
- Conocimientos de métricas y metodologías de evaluación de LLMs.
- Experiencia con Grafana y, valorable, OpenTelemetry.
- Conocimientos sobre seguridad y robustez de sistemas de IA.
- Capacidad para interpretar resultados y convertirlos en acciones de mejora.
We Offer
Libertad con responsabilidad
Confiamos en las personas para organizar su trabajo de forma flexible, favoreciendo el equilibrio entre la vida personal y profesional sin perder de vista los objetivos y el impacto de nuestro trabajo. Tendrás la posibilidad de trabajar en un modelo de trabajo remoto o híbrido.
Una comunidad de referencia
Formarás parte de una comunidad ágil y tecnológica activa, donde compartir conocimiento, aprender de otros expertos y contribuir al desarrollo de las mejores prácticas del sector.
Acompañamiento desde el primer día
Contarás con el apoyo de un Buddy que te ayudará en tu integración, resolverá tus dudas y facilitará que te sientas parte de Paradigma desde el inicio.
Excelencia técnica como seña de identidad
Nos apasiona la tecnología y apostamos por el desarrollo continuo de nuestras capacidades. El conocimiento, la calidad y la mejora constante forman parte de nuestra cultura.
También apostamos por el aprendizaje continuo y tendrás acceso a un plan anual de formación, certificaciones oficiales y espacios de aprendizaje diseñados para impulsar tu desarrollo profesional.
Beneficios
Además de un entorno de trabajo cercano y colaborativo, ofrecemos seguro médico 100% subvencionado, retribución flexible a través de Edenred, 25 días de vacaciones anuales y otros beneficios orientados al bienestar de las personas.
About the Company
Si quieres conocer un poco más de nosotros, pincha en los siguientes enlaces:
Nuestro compromiso con la diversidad e inclusión:
En Paradigma, la igualdad es clave. Creamos un entorno donde todas las personas son bienvenidas, independientemente de género, edad, religión, orientación sexual o cualquier otra condición. Trabajamos para garantizar la igualdad salarial y de oportunidades.
Se valorará certificado de discapacidad.
© Paradigma Digital. This job description was sourced from the employer's public career page. TheJob is not the employer — we index the posting and route candidates to the source. All content rights and hiring decisions belong to the employer.