Data Engineer

Descriptif du posteTon rôle en tant que Data Engineer comportera les missions suivantes :• Créer des pipelines qui traitent de fortes quantités de données géospatiales pour générer des statistiques anonymisées servant de base aux analyses présentées dans notre produit web. Par exemple, faire évoluer l’existant pour intégrer :de nouvelles métriques de flux piéton ou véhicule de nouvelles sources de données du monitoring automatisé • Développer en Spark (python) avec rigueur et toutes les bonnes pratiques requises pour construire une techno pérenne• Travailler au sein d’une squad regroupant des développeurs, des data scientists et un Product managerNotre Stack TechniqueTu travailleras au sein de l’environnement technique suivant :Spark en Scala pour le calcul distribué à grande échelle python et Luigi pour le tooling et le workflow management AWS (EMR, Athena, S3, PostgreSQL sur Aurora, …) Tests unitaires et déploiement continu Revues de code (github) L’esprit de notre équipe techniquetester, tester, tester : chez Mytraffic chaque ligne de code en production est une ligne de code testée, que ce soit du tooling ou de la pipeline s’améliorer constamment et aider les autres, notamment via des relectures de code pour atteindre une qualité technique exemplaire remettre régulièrement en question nos process et nos choix techniques lors de rétro : l’esprit critique est gage d’excellence. évoluer selon ses envies : nous proposons de te faire progresser à terme en te spécialisant sur la techno de ton choix ou en découvrant d’autres environnements techniques (web, data science) participer aux réflexions sur notre produit avec le(la) Product Manager : le(la) développeur(se) partage ses idées sur la vision long terme, les améliorations possibles et n’est pas un(e) simple exécutant(e)