Ingénieur / Ingénieure données

Nous recherchons un ingénieur de données hautement qualifié et motivé pour rejoindre notre équipe qui travaille sur un projet de l'IA. Le candidat concevra et maintiendra des pipelines de données robustes pour gérer de grands volumes de données liées au football provenant de sources multiples (statistiques de match, mesures de performance des joueurs, données de suivi, flux vidéo, etc.).
Vous jouerez un rôle clé dans le développement de systèmes évolutifs et efficaces qui alimentent les modèles d'IA pour l'analyse prédictive, les informations en temps réel et les visualisations de données.
Principales responsabilités :
- Développement de pipelines de données : Concevoir, créer et gérer des pipelines ETL (Extract, Transform, Load) évolutifs pour collecter des données de football structurées et non structurées à partir de diverses sources (par exemple, API, bases de données, services tiers).
- Gestion des données : Assurer la qualité, l'intégrité et la cohérence des données sur l'ensemble de la plateforme, en mettant en œuvre des processus de validation et des systèmes de surveillance.
- Stockage de données : Développer et optimiser des solutions de stockage de données à grande échelle (par exemple, des lacs de données, des entrepôts de données) à l'aide de plateformes cloud (AWS, Google Cloud ou Azure).
- Collaboration avec les équipes d'IA : travailler en étroite collaboration avec les data scientists, les développeurs d'IA et les analystes pour fournir les données nécessaires à la formation des modèles d'apprentissage automatique, à l'évaluation des performances et à la génération d'informations.
- Traitement des données en temps réel : mettre en œuvre des cadres de données en streaming (par exemple, Apache Kafka, Spark) pour gérer les données des matchs de football en temps réel pour une analyse instantanée.
- Gestion de base de données : concevoir et maintenir des bases de données relationnelles (par exemple, PostgreSQL, MySQL) et non relationnelles (par exemple, MongoDB, Cassandra) pour un accès et une récupération efficaces des données.
- Sécurité des données : garantir la confidentialité des données et la conformité aux réglementations telles que le RGPD en mettant en œuvre des protocoles sécurisés de gestion des données et de contrôle d'accès.
- Optimisation : surveiller les performances et dépanner les systèmes de données, en garantissant des temps d'arrêt minimes et un débit élevé dans les pipelines de données.
- Automatisation : automatiser les tâches répétitives et optimiser les flux de travail pour améliorer l'efficacité des pipelines de données.
Compétences et expérience requises :
- Baccalauréat ou maîtrise en informatique, en ingénierie des données ou dans un domaine connexe.
- Maîtrise des langages de programmation tels que Python, Java ou Scala.
- Expérience avec les frameworks ETL (par exemple, Airflow, Luigi ou Prefect) et les outils d'intégration de données.
- Familiarité avec les frameworks de traitement de big data tels qu'Apache Spark, Hadoop ou Flink.
- Expérience pratique des plateformes cloud (par exemple, AWS, Google Cloud, Azure) et de leurs services de données (par exemple, AWS S3, Google Big Query).
- Expertise en SQL et en technologies de bases de données, à la fois relationnelles (par exemple, PostgreSQL, MySQL) et non relationnelles (par exemple, Cassandra, MongoDB).
- Expérience avec des outils de streaming de données en temps réel tels qu'Apache Kafka ou AWS Kinesis.
- Familiarité avec la conteneurisation et l'orchestration (par exemple, Docker, Kubernetes) pour le déploiement de services de données.
- La connaissance des technologies d'apprentissage automatique et d'IA est un plus