Data Engineer AWS Sénior (F/H)
3 days ago
Lyon
Mission: En tant que Data Engineer AWS Sénior, vous serez responsable de la conception, du développement et de l’industrialisation des pipelines de données. Vous jouerez un rôle clé dans la modernisation de l’architecture data et la mise en place des bonnes pratiques. Vos missions 1. Analyse & conception • Cartographier les pipelines de données existants (modèles, flux, règles de transformation)., • Identifier les améliorations possibles et proposer une architecture cible basée sur AWS., • Participer aux ateliers métiers pour comprendre les besoins et les traduire en solutions techniques. 2. Développement & industrialisation • Concevoir et développer des pipelines de données robustes (batch, ETL, streaming)., • Nettoyer, transformer et exposer les données de manière fiable et performante., • Garantir la sécurité, la qualité et la maintenabilité des traitements., • Accompagner les équipes de développement dans la mise en œuvre de la solution. 3. Documentation & bonnes pratiques • Mettre en place les bonnes pratiques de versioning, CI/CD et tests., • Rédiger et maintenir la documentation technique., • Assurer la cohérence et la mise à jour du référentiel documentaire. Environnement technique • AWS, Docker, Terraform, • GitLab CI, • Jira, Confluence, • Python, PySpark, AWS Glue, • S3, Apache Iceberg, • RDS PostgreSQL, OpenSearch, • Windows 11, Office 365, SharePoint 2016 Compétences recherchées Techniques • Maîtrise des traitements de données : ETL, Spark, Glue, • Conception de pipelines batch/ETL/streaming, • Expertise en stockage : RDS, OpenSearch, S3 Parquet, Apache Iceberg, • Solides compétences en Python et Java, • Connaissance des services AWS, • Notions en DevOps : Terraform, CI/CD, automatisation, • Obligatoire sous 3 mois : AWS Developer Associate, • Recommandées :, • AWS Solutions Architect Associate, • AWS Certified Data Engineer Associate