Senior Data Engineer

Descriptif du posteMissionsTon rôle en tant que Senior Data Engineer comportera les missions suivantes :Créer des pipelines qui traitent de grosses quantité de données géospatiales pour générer des statistiques anonymisées servant de base aux analyses présentées dans notre produit web. Par exemple, faire évoluer l’existant pour intégrer : - de nouvelles métriques de flux piéton ou véhicule - de nouvelles sources de données - du monitoring automatiséDévelopper en Spark/Scala/python avec rigueur et toutes les bonnes pratiques requises pour construire une techno pérenne Favoriser la montée en compétence de tes collègues juniors Travailler au sein d’une squad regroupant des développeurs, des data scientists et un Product manager On a construit des statistiques solides sur la géolocalisation de données mobiles et véhicules. Et nous continuons d’améliorer la performance de nos algorithmes.On prévoit d’explorer d’autres sources de données (données de réseaux sociaux, transactions bancaires) à intégrer dans notre platform.L’objectif est d’utiliser ces nouveaux jeux de données avec ceux existants pour fournir des métriques à nos clients pour motiver d’encore meilleures décisions.Notre Stack TechniqueTu travailleras au sein de l’environnement technique suivant :Spark en python pour le calcul distribué à grande échelle python et Luigi pour le tooling et le workflow management AWS (EMR, Athena, S3, PostgreSQL sur Aurora, …) Tests unitaires et déploiement continu Revues de code (github) L’esprit de notre équipe techniquetester, tester, tester : chez Mytraffic chaque ligne de code en production est une ligne de code testée, que ce soit du tooling ou de la pipeline s’améliorer constamment et aider les autres, notamment via des relectures de code pour atteindre une qualité technique exemplaire remettre régulièrement en question nos process et nos choix techniques lors de rétro : l’esprit critique est gage d’excellence. évoluer selon ses envies : nous proposons de te faire progresser à terme en te spécialisant sur la techno de ton choix ou en découvrant d’autres environnements techniques (web, data science) participer aux réflexions sur notre produit avec le(la) Product Manager : le(la) développeur(se) partage ses idées sur la vision long terme, les améliorations possibles et n’est pas un(e) simple exécutant(e)