Cloud Data engineer

Nous recherchons un Data Engineer spécialisé dans la construction de pipelines de données sur Azure Databricks, avec une expertise en CI/CD et Terraform. Vous serez responsable de la conception, du développement et de l’optimisation des infrastructures de données, en mettant en place des pipelines robustes, évolutifs et sécurisés.oncevoir, développer et maintenir des pipelines de données sur Azure Databricks en assurant leur performance, leur évolutivité et leur résilience.

Mettre en place des processus CI/CD pour l’automatisation des déploiements et l'intégration continue des solutions de données.

Gérer et optimiser les infrastructures cloud sur Azure, en utilisant Terraform pour l’infrastructure as code (IaC).

Implémenter des solutions de traitement des données en batch et en streaming, en utilisant des technologies telles que Apache Spark, Delta Lake et Azure Data Factory.

Assurer la qualité, la fiabilité et la gouvernance des données en intégrant des mécanismes de monitoring, de validation et de gestion des métadonnées.

Collaborer avec les équipes Data Science et BI pour industrialiser les modèles et optimiser les performances des requêtes et des traitements.

Automatiser et sécuriser les flux de données en intégrant des pratiques DevSecOps et en respectant les normes de conformité et de protection des données.

Suivre et optimiser les coûts d’infrastructure liés aux solutions de données sur le cloud Azure.

RequirementsMaîtrise d’Azure Databricks et de son écosystème (Delta Lake, MLflow, Spark, Unity Catalog).

Expertise en développement de pipelines de données avec PySpark, SQL, Scala ou Python.

Expérience dans la mise en place de CI/CD pour les déploiements de données (Azure DevOps, GitHub Actions, Jenkins).

Solide connaissance de Terraform pour la gestion d’infrastructure cloud.

Compétence en modélisation et transformation des données (ETL, ELT).

Bonne compréhension des architectures Data Lake, Data Warehouse et Lakehouse.

Expérience avec les solutions Azure Data Factory, Synapse Analytics, Azure Functions est un plus.

Maîtrise des principes de sécurité, monitoring et optimisation des coûts sur Azure.