En tant que Senior Data Engineer, vous piloterez la transformation technique de leur infrastructure data : audit et refactoring des pipelines ETL (Python/Prefect), optimisation des performances BI sur des millions de produits, conception d'un système d'alerting robuste, et intégration de modèles IA dans leur processus de classification.
Grâce à votre expertise, vous serez le pilote technique de la transformation de leur infrastructure data :
Audit et Recommandations Stratégiques
• Analysez l'architecture data existante et produisez des recommandations d'évolution technologique
• Évaluez les performances des pipelines actuels et proposer des optimisations concrètes
• Collaborez à la définition de la roadmap technique
Optimisation Performance & Coûts
• Optimisez les dashboards BI pour gérer la performance sur de gros volumes (millions de produits)
• Refactorisez les requêtes SQL complexes et implémentez indexation/partitionnement avancés
• Maîtrisez les coûts cloud (AWS S3, ECS, Aurora) et optimisez l'utilisation des ressources
• Implémentez des solutions de cache et d'optimisation pour améliorer les temps de réponse
Architecture ETL Robuste
• Refactorisez les pipelines ETL existants → architecture modulaire et scalable
• Orchestrez avec Prefect des workflows automatisés, planifiés et résilients
• Intégrez des modèles IA (Mistral, Gemini, OpenAI) dans les pipelines de classification produit
• Gérez la dette technique par priorisation agile et découpage en micro-tâches
Système de Qualité & Alerting
• Optimisez un système d'alerting avec KPIs qualité automatisés
• Implémentez l'automatisation QA : peer review, dashboards qualité, contrôles par prompts IA
• Assurez la traçabilité et le versioning des règles de normalisation et taxonomies multilingues
• Supervisez avec Grafana/Prometheus et créez des tableaux de bord de monitoring avancés
Leadership & Structuration d'Équipe
• Animez des workshops de documentation et transfert de connaissances avec l'équipe
• Mentorez les profils junior et accompagnez l'onboarding des nouveaux talents
• Coordonnez avec l'équipe internationale de scrapers et les équipes produit
• Formalisez la documentation technique et les bonnes pratiques de développement