Data Engineer - Databricks confirmé
1 day ago
Paris
En tant que Data Engineer Senior, vous jouerez un rôle clé dans la construction, l’optimisation et la fiabilisation de nos pipelines de données à grande échelle, au cœur de notre plateforme analytique. Votre expertise sur Databricks et l’environnement Spark sera essentielle pour garantir des traitements performants, sécurisés et scalables. Vos responsabilités incluent : • Concevoir, développer et maintenir des pipelines de données sur Databricks (Spark/Delta Lake)., • Optimiser les performances de traitement et garantir la qualité des données (cleaning, validation, partitioning)., • Participer à l’architecture de la data platform (modularité, sécurité, gestion des coûts)., • Travailler en étroite collaboration avec les équipes Data Science, BI, et Produit pour alimenter les cas d’usage., • Implémenter les bonnes pratiques de versioning, CI/CD et tests sur les pipelines (Git, dbx, Unity Catalog)., • Assurer le monitoring, l'observabilité et la documentation des traitements., • Être force de proposition sur les choix technologiques et accompagner les profils plus juniors. Profil : • Bac+5 en informatique, systèmes d’information ou formation équivalente., • Minimum 5 ans d’expérience en tant que Data Engineer dans des environnements distribués (Big Data)., • Maîtrise avancée de Databricks, Apache Spark (PySpark), Delta Lake et de l’écosystème cloud (Azure, AWS ou GCP)., • Bonne connaissance de SQL, des formats de données (Parquet, Avro) et des principes d’optimisation de requêtes., • Solide expérience sur des outils d’orchestration (ex : Airflow, dbx, Data Factory, Dagster, etc.)., • Pratique des workflows CI/CD (Git, DevOps, Terraform un plus)., • Connaissances en gestion des accès, catalogues de données, et gouvernance (Unity Catalog, Lakehouse)., • Savoir-Etre : rigueur, autonomie, esprit d’équipe, capacité à industrialiser des solutions complexes. Processus de recrutement : • Prise de contact téléphonique (5/10min), • 1er entretien : Présentation de vos expériences et projets + présentation globale MP DATA (45min/1h), • Test technique adapté à votre métier et sur un cas d’usage concret, • 2ème entretien : Entretien Technique (1h), • 3ème entretien : Visite de nos locaux à Boulogne-Billancourt (92100) et échange avec notre Directeur d’Agence