Notre client recherche un Data Engineer Python.
Vous intégrez une équipe Data chez un grand acteur du secteur des médias. Le projet vise à concevoir une interface interne unifiée permettant de piloter plusieurs bases de données de contenus multimédias. L'enjeu principal est de centraliser, structurer et fiabiliser les flux de données provenant de différentes sources internes via des pipelines automatisés et des outils modernes de traitement distribués.
Missions :
- Concevoir, développer et maintenir les pipelines de données à l'aide de Python, Pandas et Apache Camel.
- Assurer la collecte, la transformation, la structuration et le chargement de données issues de sources variées.
- Optimiser les requêtes et les échanges de données sur les bases SQL Server et Snowflake.
- Participer à l'architecture et au déploiement de solutions data dans le cloud AWS.
- Assurer la qualité, la traçabilité et la robustesse des traitements de données dans un environnement distribué.
- Collaborer avec les équipes produits et métiers pour comprendre les besoins d'accès, de modélisation et de visualisation des données.
- Participer aux cérémonies Scrum (daily, sprint review, planning, rétrospective) et contribuer activement à la roadmap technique.
- Documenter les flux, les transformations et les bonnes pratiques dans Confluence.
- Être force de proposition sur les améliorations des performances et l'automatisation des processus Data Engineering.
Ce qu'il vous faut pour réussir :
- Vous justifiez de 4 ans d'expérience en Data Engineering, dans des environnements complexes et distribués.
- Vous avez une solide maîtrise de Python, Pandas, SQL et une expérience sur Snowflake est un atout.
- Vous avez déjà travaillé avec un cloud provider (AWS de préférence) et des outils de data pipeline (Apache Camel ou équivalent).
- Vous êtes rigoureux, organisé et vous aimez optimiser les flux de données pour en garantir la performance.
- Vous appréciez le travail en équipe agile et êtes à l'aise avec les outils collaboratifs comme Jira et Confluence.
- Vous êtes basé à Lyon ou en capacité d'y intervenir partiellement (3 jours de télétravail/semaine).
