AI Engineer Python – AI Gateway & LLM

Participer au développement et à l'exploitation d'une plateforme centrale permettant aux équipes internes d'accéder à différents modèles d'intelligence artificielle de manière sécurisée et unifiée. La plateforme assure notamment le routage des requêtes, la gestion des accès, des coûts, de la sécurité et l'intégration d'agents IA.

Missions principales

Concevoir, développer et maintenir les fonctionnalités de la plateforme AI Gateway en Python. Développer des API unifiées compatibles avec les standards OpenAI et mettre en place le routage entre plusieurs fournisseurs de modèles IA, les mécanismes de fallback, le streaming et le caching.

Gérer les accès, les clés API, les quotas, les limitations de débit et les budgets. Intégrer de nouveaux modèles et fournisseurs d'intelligence artificielle, évaluer leurs performances et assurer le suivi des consommations et des coûts.

Garantir la sécurité des échanges, notamment l'authentification, la gestion des secrets et la protection des données. Mettre en place des mécanismes de protection contre les injections de prompts et le filtrage des données sensibles. Assurer la supervision, la traçabilité, la disponibilité et la fiabilité de la plateforme.

Faire évoluer la plateforme pour intégrer les usages agentiques, notamment le tool calling, les serveurs MCP et la gestion des permissions des agents. Développer des SDK, des templates et des plugins facilitant son utilisation par les équipes produit.

Utiliser quotidiennement des agents de programmation IA pour accélérer le développement, les tests et les refactorisations. Participer aux revues de code, aux tests automatisés, à la documentation et au partage de connaissances.

Compétences attendues

Maîtrise avancée de Python, FastAPI, du développement Backend, de la programmation asynchrone et de la conception d'API. Bonne connaissance du Machine Learning, du Deep Learning et des LLM. Expérience dans le développement et l'exploitation de systèmes basés sur les LLM en production.

Maîtrise des technologies Cloud et des architectures conteneurisées, notamment GCP, Docker, Kubernetes et Terraform. Connaissance de GitHub Actions, des protocoles MCP et A2A, de LangGraph, des agents IA et des mécanismes de sécurité API.

Connaissance des outils d'observabilité, de monitoring et de tests automatisés. La maîtrise de LiteLLM, Kong, Envoy AI Gateway, Apigee, vLLM, Kafka, PostgreSQL, Redis ou MongoDB constitue un atout supplémentaire.

Profil recherché

Ingénieur logiciel disposant d'au moins 5 ans d'expérience, avec une solide expertise en développement Backend Python. Expérience concrète dans le développement de solutions basées sur les LLM et les agents IA. Autonomie, proactivité, esprit d'équipe et maîtrise de l'anglais professionnel. Le français est un plus.