Senior Test Automation Engineer – AI Testing

À propos du poste

Nous recherchons un Ingénieur en Assurance Qualité, ayant de l'expérience en IA et en tests d'automatisation et de performance. Les outils d'automatisation des tests utilisés sont Python, Robot Framework, Playwright.

Ce que vous accomplirez

Tests de systèmes et modèles d’IA

• Concevoir et exécuter des stratégies de test complètes pour les systèmes et modèles d’IA, incluant l'ingénierie des requêtes (prompt engineering), l’évaluation des résultats et les tests de biais/sécurité.
• Développer une compréhension approfondie du comportement des grands modèles de langage (LLM), notamment de la tokénisation, des vecteurs d'intégration (embeddings), des mécanismes d'attention et de l'inférence, afin d'anticiper les modes de défaillance potentiels.
• Concevoir des requêtes efficaces, détecter les hallucinations et les résultats hors cible, et évaluer la qualité des réponses générées selon leur exactitude, leur ton, leur cohérence et l'absence de biais.
• Appliquer des mesures d'évaluation propres à l'IA générative et établir des seuils de performance appropriés.
• Tester les systèmes d'IA intégrés à des pipelines de génération augmentée par récupération (RAG) et à des bases de connaissances, en veillant à la qualité des données et à l'exactitude de la récupération de l'information, lesquelles ont une incidence sur les résultats générés par les modèles.
• Comprendre le fonctionnement des bases de données vectorielles, les seuils de recherche par similarité, les phénomènes de dérive des embeddings, et tester les cas limites, notamment les documents quasi identiques, les embeddings clairsemés ou denses, ainsi que les performances lors du passage à l'échelle.
• Utiliser les frameworks LangChain et LangGraph afin d'analyser le code, de comprendre la structure des chaînes et des graphes, d'identifier les points de défaillance et de concevoir des harnais de test.
• Valider les points d'intégration à l'aide des protocoles MCP (Model Context Protocol), en vérifiant la disponibilité des outils et la gestion des erreurs.

Stratégie et planification des tests

Élaborer et exécuter des stratégies de test complètes pour les plateformes de titrisation, en veillant à la couverture complète des tests fonctionnels, de régression, d'intégration et de performance. Établir des normes d'essai et des pratiques exemplaires couvrant à la fois l'assurance qualité traditionnelle et la validation propre aux systèmes d'IA.

Automatisation des tests et développement de cadres d'automatisation

Concevoir, développer et maintenir des suites de tests automatisés afin d'accélérer les cycles de mise en production et d'améliorer la couverture des essais. Mettre à profit les outils d'IA et d'apprentissage automatique (ML) pour accroître la couverture des essais, améliorer l'efficacité des activités de test et réduire les cycles de régression.

Assurance qualité du cycle de vie de la titrisation

Valider de bout en bout les flux de travail liés aux transactions, notamment la configuration, la structuration, le traitement et les distributions. Assurer l'intégrité des données entre les systèmes en amont et en aval au moyen de tests de rapprochement et de rapports.

Tests de mise en production et de régression

Coordonner les tests de régression liés aux mises en production de la plateforme, aux correctifs et aux modifications d'infrastructure. Assurer la stabilité et la rétrocompatibilité, en particulier lors des périodes de traitement critiques.

Compétences requises

Plus de 7 ans d'expérience en assurance qualité ou en ingénierie de la qualité. Solide connaissance du domaine de la titrisation, des marchés des capitaux ou de catégories d’actifs similaires.

Compétences techniques

Expérience pratique avec des outils d'automatisation des tests tels que Selenium, Robot Framework, Playwright ou des outils comparables. Maîtrise des langages de programmation, notamment Java et Python, ainsi qu’une expertise avérée dans la mise en œuvre de cadres d’automatisation. Expérience concrète en automatisation des tests d’API et en validation des systèmes back-end. Maîtrise du développement de requêtes de bases de données, de la validation des données et des tests de rapprochement. Expérience des pipelines CI/CD et des pratiques DevOps, notamment avec Jenkins, GitHub ou des outils comparables.

Compétences en IA et en apprentissage automatique

Bonne compréhension de l’architecture et du fonctionnement des grands modèles de langage (LLM). Expérience pratique avec les frameworks LangChain et/ou LangGraph. Connaissance des pipelines RAG, des bases de données vectorielles et des solutions agentiques. Connaissance des protocoles MCP (Model Context Protocol) et expérience des tests d'intégration. Compréhension des méthodes d’évaluation des biais, de la sécurité et des exercices de simulation d’attaque (red teaming) appliqués aux systèmes d’IA.

Work model

Nous croyons que le travail hybride est l’avenir, et nous nous efforçons d'offrir de la flexibilité dans la mesure du possible. Compte tenu des exigences opérationnelles de ce poste, il s'agit d'un poste hybride nécessitant quatre jours par semaine au bureau de Cognizant ou chez un client à Montreal, QC. Quel que soit votre modalité de travail, nous sommes là pour favoriser une équilibre travail-vie personnelle grâce à nos programmes de mieux-être.

Les modalités de travail pour ce poste sont exactes à la date de publication. Elles peuvent changer en fonction du projet dans lequel vous êtes engagé, ainsi que des exigences de Cognizant et du client. Soyez assuré(e) que nous serons toujours clairs sur les attentes liées au poste.

About Cognizant

Cognizant (Nasdaq: CTSH) est un fournisseur de services technologiques et un constructeur d'IA, comblant le fossé entre l'investissement en IA et la valeur pour l'entreprise en créant des solutions IA full-stack pour nos clients. Notre expertise approfondie dans l'industrie, les processus et l'ingénierie nous permet de concevoir des systèmes technologiques uniques pour chaque organisation qui amplifient le potentiel humain, génèrent des résultats tangibles et maintiennent les entreprises mondiales en tête dans un monde en rapide évolution. Découvrez comment à cognizant.ai ou @cognizant.

Apply now

Share

Benefits that help you thrive and grow

Notre programme de bien-être est conçu pour vous, afin que vous puissiez profiter d'une vie épanouissante, équilibrée et saine.

Bien-être financier

Nous examinons régulièrement les données du marché pour nous assurer que la rémunération reflète la valeur que vous apportez. Vos avantages s'étendent au-delà de la rémunération et peuvent inclure l'éducation financière, un régime de retraite avec contributions de l'employeur, etc.

Santé physique et mentale

Nous vous permettons de prioriser votre bien-être grâce à des congés payés, un travail flexible lorsque possible, des régimes de soins de santé, des services de conseil, notre programme d'alliage pour la santé mentale et plus encore.

Votre carrière, à votre façon

Avec plus de 350 000 postes chez Cognizant, vous aurez l'occasion d'explorer de nouvelles technologies, industries et localités, et de développer les compétences nécessaires pour faire évoluer votre carrière.

Impact réel

Pensez aux plus grandes marques sur lesquelles vous comptez. Il est probable qu'elles comptent sur nous pour renforcer leur entreprise. Ici, vous transformerez des idées audacieuses en solutions qui améliorent les vies partout.

Your path to Cognizant

Voici ce à quoi vous pouvez vous attendre de notre processus de recrutement. Veuillez noter qu'il peut varier selon le poste et le lieu. Explorez nos FAQ pour en savoir plus.

Étape 1: Postulez à la bonne opportunité

Trouvez un poste ouvert qui correspond à vos compétences et à vos objectifs de carrière et montrez-nous pourquoi vous êtes la personne qu'il vous faut. Vous ne voyez pas la bonne opportunité ? Envisagez de rejoindre notre communauté de talents.

Étape 2: Connectez-vous avec votre recruteur

Si l'un de nos recruteurs voit une correspondance, il organisera un appel d'introduction pour en savoir plus sur vous et comment vos expériences et compétences correspondent au poste.

Étape 3: Montrez vos compétences

Si vous et notre équipe souhaitez poursuivre le processus, vous passerez un entretien avec notre équipe de recrutement. Certains postes peuvent également nécessiter des évaluations techniques et/ou des entretiens avec les clients.

Étape 4: Le moment de la décision

Notre équipe examinera ensuite le potentiel de chaque candidat à réussir dans le poste. Cette étape peut prendre du temps car nous voulons trouver le bon ajustement pour vous et nous, mais vous pouvez compter sur nous pour vous tenir informé.

Cognizant est idéal pour ceux qui veulent rendre le monde meilleur, car nous créons des solutions avec les meilleurs partenaires technologiques pour résoudre les problèmes complexes de nos clients.

Brigitte Roy

Directrice des Alliances Stratégiques

Je suis soutenue par des leaders motivants qui me permettent de progresser dans ma carrière grâce à des programmes d'apprentissage, des conférences de l'industrie et des mouvements internes. Je suis fière de la progression de carrière que je réalise ici.

Rahul Sathe

Principal