QC IA – Ingénieur QA / Agents de test IA

Accompagner un grand cabinet d'audit et de conseil dans l'industrialisation de prototypes applicatifs développés à l'aide de l'intelligence artificielle générative. L'objectif est de transformer des POC et POV intégrant des LLM, des architectures RAG et des agents IA en produits fiables, sécurisés et exploitables en production.

Missions principales

Concevoir, développer et améliorer des agents IA dédiés à la conception et à l'automatisation des tests, notamment pour générer des cas de test, des scénarios et des scripts automatisés.

Définir et mettre en œuvre les stratégies de qualification des solutions d'intelligence artificielle intégrant des LLM, des systèmes RAG et des agents IA.

Mettre en place des méthodes d'évaluation adaptées à l'IA générative, notamment des jeux de tests de référence, des métriques de qualité permettant d'évaluer la pertinence des réponses, leur fidélité et les hallucinations, ainsi que des mécanismes de non-régression des prompts et des modèles.

Sécuriser le passage des prototypes vers des produits exploitables en production en définissant les critères d'acceptation et en évaluant la robustesse, la sécurité, les risques d'injection de prompts, les fuites de données, les performances et les coûts.

Intégrer les tests automatisés dans les chaînes CI/CD avec Azure DevOps et GitHub. Accompagner les équipes produit dans l'application des bonnes pratiques de qualité adaptées aux solutions d'intelligence artificielle.

Compétences attendues

Maîtrise de l'automatisation des tests et de la conception de frameworks de tests automatisés avec Playwright, Selenium, Cypress, SpecFlow ou des outils équivalents.

Maîtrise d'au moins un langage de programmation parmi C#, Python et TypeScript, avec une pratique quotidienne du développement de scripts de test.

Expérience concrète en développement assisté par intelligence artificielle et en mise en production d'applications basées sur les LLM, notamment Azure OpenAI ou AI Foundry.

Connaissance du Prompt Engineering, des architectures RAG et des frameworks d'agents IA tels que Semantic Kernel, LangChain et AutoGen.

La connaissance des outils d'évaluation des LLM, notamment Azure AI Foundry Evaluation, Promptfoo, DeepEval et Ragas, constitue un atout.

La connaissance de l'environnement Microsoft Azure, notamment Azure OpenAI, Azure AI Search et Azure DevOps, est également appréciée.

Profil recherché

Ingénieur QA ou expert en ingénierie de la qualité de niveau Senior ou Expert, disposant d'une expérience confirmée en automatisation des tests et en intégration CI/CD.

Le candidat doit justifier d'une expérience concrète et démontrable dans le développement assisté par IA et la mise en production d'applications basées sur les LLM.