Ingénieur QA IA – Qualité et agents de test IA

Concevoir et industrialiser les dispositifs de qualification et de test des solutions d'intelligence artificielle générative. L'objectif est de transformer des prototypes développés avec l'IA générative en produits applicatifs fiables, sécurisés et exploitables en production, notamment autour des technologies LLM, RAG et agents IA.

Missions principales

Concevoir, développer et améliorer des agents IA dédiés à la conception et au scripting de tests, notamment pour la génération de cas de test, de scénarios et de scripts automatisés.

Définir et mettre en œuvre les stratégies de qualification des solutions d'intelligence artificielle intégrant des LLM, des systèmes RAG et des agents IA.

Mettre en place des méthodes d'évaluation adaptées à l'IA générative, comprenant des jeux de tests de référence, des métriques de qualité portant sur la pertinence, la fidélité et les hallucinations, ainsi que des dispositifs de non-régression des prompts et des modèles.

Sécuriser le passage des prototypes vers des produits exploitables en production en définissant les critères d'acceptation et en évaluant la robustesse, la sécurité, les performances et les coûts.

Intégrer les tests automatisés dans les chaînes CI/CD avec Azure DevOps ou GitHub. Accompagner également les équipes produit dans l'application des bonnes pratiques de qualité liées à l'intelligence artificielle.

Compétences attendues

Maîtrise de l'automatisation des tests et de la conception de frameworks automatisés en production avec Playwright, Selenium, Cypress, SpecFlow ou des outils équivalents.

Maîtrise d'au moins un langage de programmation parmi C#, Python et TypeScript, avec une pratique régulière du développement de scripts de test.

Expérience concrète en développement assisté par IA et en mise en production d'applications basées sur les LLM, notamment Azure OpenAI ou AI Foundry.

Connaissance du Prompt Engineering, du RAG et des frameworks d'agents IA tels que Semantic Kernel, LangChain et AutoGen.

La connaissance des outils d'évaluation des LLM comme Azure AI Foundry Evaluation, Promptfoo, DeepEval et Ragas constitue un atout. La maîtrise de l'environnement Azure, notamment Azure OpenAI, AI Search et Azure DevOps, est également appréciée.

Profil recherché

Ingénieur QA ou spécialiste de l'ingénierie qualité de niveau Senior ou Expert, disposant d'une expérience confirmée en automatisation des tests et en intégration CI/CD.

Le candidat doit justifier d'une expérience concrète dans le développement et la mise en production de solutions d'intelligence artificielle basées sur les LLM. Il devra également être en mesure de présenter une réalisation IA lors de l'entretien, sous forme d'agent, d'application en production, de dépôt de code ou de démonstration.