Aller au contenu
Accueil Missions freelance Expert en évaluation d’agents IA
Site web

Expert en évaluation d’agents IA

Description de la mission

Contribuer à la création d’un jeu de données destiné à évaluer les agents IA de programmation sur leur capacité à traiter des tâches de développement réalistes.

Concevoir des environnements, tâches et critères d’évaluation permettant de mesurer de manière fiable les performances des agents IA.

Missions principales

Construire des environnements de développement réalistes comprenant une base de code, une infrastructure et un contexte de développement.

Concevoir des tâches à partir d’états intermédiaires de ces environnements, définir les critères de résolution et vérifier leur faisabilité par un agent IA.

Écrire des tests permettant de valider les solutions proposées par les agents, en acceptant les approches correctes et en rejetant les solutions incorrectes.

Analyser les solutions produites par les agents et les résultats des tests.

Itérer sur les tâches et les tests à partir des retours QA afin d’améliorer la robustesse et l’équité des évaluations.

Compétences attendues

Minimum 5 ans d’expérience en développement logiciel.

Maîtrise de Python et FastAPI.

Maîtrise de JavaScript / TypeScript et React.

Connaissance de Docker, PostgreSQL, Kafka et Redis.

Expérience dans la rédaction de tests fonctionnels et d’intégration.

Anglais niveau B2 minimum.

Capacité à analyser les limites et erreurs des modèles d’IA sur des tâches de développement.

Profil recherché

Formation Bac +5 en informatique, génie logiciel, Data Science / Data Analytics, intelligence artificielle / Machine Learning, linguistique computationnelle / NLP, systèmes d’information ou domaine connexe.

Un diplôme Bac +3 peut être accepté avec au moins 5 ans d’expérience dans le domaine.

Expérience professionnelle en développement logiciel.

La connaissance de la QA automatisée, des tests ou de la cybersécurité est également mentionnée dans les critères d’expérience.

Capacité à travailler de manière autonome sur des missions à temps partiel et basées sur des projets.

Pourquoi postuler via Mission Freelances ?
On agrège les missions freelance de tout le web et on enrichit chacune avec le contact direct du décideur. Tu postules plus vite, à la bonne personne, sans intermédiaire.
🎯
Contact direct du décideur
Email pro, LinkedIn et parfois téléphone, dans 78% des cas. Tu parles à la personne qui recrute, pas à un ATS.
💸
0% de commission
Contrairement à Malt ou Comet, on ne prend jamais de commission sur tes missions. La relation reste entre toi et le client.
Toutes les sources, un seul feed
LinkedIn, Indeed, WTTJ, HelloWork, France Travail… agrégés et mis à jour 3× par jour. Fini les 10 onglets.
🚀
Postule avant les autres
En contactant le décideur directement, tu prends une longueur d'avance sur les candidats qui passent par le formulaire classique.
Voir le décideur de cette mission → 3 jours d'essai gratuits, sans carte bancaire.

Conseils pour trouver des missions freelance

Nos derniers articles pour booster ta prospection et signer des missions.

Continuer l'exploration

D'autres missions et ressources pour ta recherche freelance.