Consultant Architecte Data LakeHouse (Python, Cloudera, Iceberg)

Concevoir, développer et faire évoluer une architecture Data LakeHouse sur une plateforme Data hybride basée sur Cloudera. Assurer la préparation, la transformation et l'intégration des jeux de données nécessaires au projet PRM dans un environnement Big Data et Cloud.

Missions principales

Participer à la conception, à la mise en œuvre et à l'évolution de l'architecture Data LakeHouse. Concevoir, développer et optimiser des pipelines ETL en Python et PySpark pour assurer la récupération, la transformation, la préparation et l'intégration des données.

Mettre en œuvre et exploiter des tables Apache Iceberg afin de garantir une gestion structurée et performante des jeux de données. Faire évoluer les systèmes existants pour assurer leur compatibilité avec le projet PRM et faciliter leur migration.

Définir et maintenir des modèles de données réutilisables, cohérents et optimisés, en privilégiant la non-redondance et l'unicité des définitions. Garantir la qualité, la cohérence et la fiabilité des données intégrées.

Intégrer les exigences de sécurité, de conformité réglementaire, notamment le RGPD, ainsi que les enjeux liés à la réglementation sur les données et l'intelligence artificielle et à la propriété intellectuelle des données provenant de fournisseurs tiers.

Collaborer avec les architectes applicatifs et techniques, les Data Scientists, les Data Analysts ainsi que les équipes Juridique et Recherche pour valider les modèles et les contenus de données produits.

Compétences attendues

Maîtrise de Python, PySpark, Cloudera, Apache Iceberg, des technologies Big Data et Cloud, de l'architecture Data LakeHouse, des pipelines ETL, de la modélisation et de l'intégration des données. Connaissance des bonnes pratiques d'ingénierie, de qualité et de gouvernance des données, ainsi que des exigences RGPD et de propriété intellectuelle.

Profil recherché

Non précisé.

Livrables attendus

Développement des jobs ETL permettant la récupération, la transformation et la préparation des données pour leur intégration dans le Data LakeHouse, ainsi que des jobs dédiés à la préparation et à l'export des données vers le projet PRM.