Évaluation et amélioration de modèles IA

Intervenir sur l’évaluation de systèmes d’intelligence artificielle dédiés au développement logiciel en concevant des environnements de test réalistes, des tâches techniques et des critères d’évaluation permettant de mesurer la qualité des réponses des agents IA.

Missions principales

Créer des environnements de développement réalistes incluant code source, infrastructure, documentation et historique projet.

Concevoir des tâches techniques à partir d’environnements existants afin d’évaluer les capacités des agents IA.

Définir les critères de réussite et les conditions permettant de valider une solution.

Créer des tests fonctionnels et d’intégration pour vérifier les solutions proposées par les agents IA.

Analyser les résultats produits par les agents IA et identifier les erreurs ou limites.

Améliorer les tâches et les tests à partir des retours qualité afin de garantir des évaluations fiables.

Évaluer différentes approches techniques en tenant compte des solutions valides possibles.

Compétences attendues

Expertise en développement logiciel.

Maîtrise de Python, notamment FastAPI.

Maîtrise de JavaScript/TypeScript et React.

Connaissance de Docker, PostgreSQL, Kafka et Redis.

Expérience dans la rédaction de tests fonctionnels et d’intégration.

Capacité à analyser des solutions techniques et à identifier les limites des modèles IA.

Maîtrise de l’anglais niveau B2 minimum.

Profil recherché

Expérience de 5 ans minimum en développement logiciel.

Expérience sur des projets utilisant des environnements techniques complexes.

Capacité à concevoir des scénarios d’évaluation réalistes.

Autonomie dans l’organisation du travail et la réalisation des tâches.

Capacité à fournir un CV en anglais et à préciser son niveau d’anglais.