Black Friday freelance : -50 % sur Mission Freelances
Abonnement annuel à 40 € HT au lieu de 80 € : le Black Friday Mission Freelances, c'est maintenant. Codes promo et mini-jeu jusqu'au 30 novembre.
Lire l'articleNous recherchons un Data Engineer pour renforcer une équipe Data sur la mise en place de flux d'ingestion au sein d'une plateforme Data basée sur Microsoft Azure Databricks. La mission consiste à intégrer des données issues d'une solution de souscription externe vers une architecture Data Lake de type Medaillon (Bronze / Silver / Gold), avec un fort enjeu de qualité, de traçabilité et de supervision des traitements.
Missions principales :
Concevoir et développer les pipelines d'ingestion de données dans Azure Databricks.
Intégrer des données historiques au sein de la couche Bronze.
Mettre en place l'ingestion temps réel d'événements via API.
Contrôler la conformité et la structure des données reçues.
Implémenter des mécanismes de quarantaine pour les flux non conformes.
Réaliser la désérialisation et la transformation des données.
Développer les dispositifs de supervision et de télémétrie des traitements.
Assurer le comptage et le rapprochement des données émises et intégrées.
Gérer les problématiques de doublons et de rejouabilité des flux.
Mettre en œuvre les mécanismes de purge et de conservation des données.
Participer aux phases de recette et de validation.
Produire la documentation technique et d'exploitation.
Profil candidat:
Expérience confirmée en Data Engineering.
Bonne maîtrise d'Azure Databricks et des architectures Data modernes.
Expérience significative sur des projets d'ingestion de données à forte volumétrie.
Solides compétences en Python et SQL.
Connaissance des problématiques de qualité, gouvernance et supervision de données.
Capacité à travailler de manière autonome tout en s'intégrant dans une équipe Data.
Bon relationnel et aptitude à documenter les réalisations.
Nos derniers articles pour booster votre prospection et signer des missions.
Abonnement annuel à 40 € HT au lieu de 80 € : le Black Friday Mission Freelances, c'est maintenant. Codes promo et mini-jeu jusqu'au 30 novembre.
Lire l'articleSPIN (Situation, Problème, Implication, Nécessité) adapté au discovery freelance. Les 4 familles de questions et comment lire les réponses en 30 minutes.
Lire l'articleBranchez Claude ou ChatGPT sur Mission Freelances via MCP : l'assistant lit les annonces, connaît votre profil et rédige vos e-mails de prospection.
Lire l'articleD'autres missions et ressources pour votre recherche freelance.