Ingénieur / Ingénieure big data

Le Client : Votre futur employeur
Notre client, un groupe reconnu pour ses valeurs de solidarité, de proximité et d'éthique, dispose de son siège social en France et compte plus de 900 collaborateurs. Avec un impact national, le groupe dessert 700 000 clients utilisateurs de son système d'information.
Vous serez rattaché(e) au responsable du département Data, au sein d'une équipe de 12 personnes spécialisée en Business Intelligence traditionnelle, utilisant une approche Agile (Scrum) pour les projets et la maintenance des solutions. Vous interagirez avec les collaborateurs de la DSI (120 personnes réparties en 6 divisions) ainsi qu'avec les managers fonctionnels impliqués dans vos
projets

Chronologie du Processus de Gestion des Données :

1. Capture des Changements de Données (Change Data Capture) :
En tant que Tech Lead Data, vous superviserez la capture des modifications des données sources en temps réel à l'aide de Debezium. Cet outil détecte les changements dans les bases de données et les envoie sous forme de flux de données

2. Transmission des Données avec Kafka :
Les données capturées sont ensuite transmises via Apache Kafka, une plateforme de streaming distribuée. Kafka joue un rôle crucial dans la transmission rapide et fiable des données vers le Data Lake

3. Stockage dans un Data Lake & Interrogation avec Trino :
Les données sont stockées dans un Data Lake et peuvent être interrogées à l'aide de Trino (anciennement Presto), un moteur SQL distribué. Trino permet d'exécuter des requêtes fédérées, c'est-à-dire de combiner et d'analyser des données provenant de différentes sources en une seule requête

4. Développement d'une Interface Utilisateur avec Spring Boot :Enfin, vous serez responsable de superviser le développement d'une interface utilisateur en Java Spring Boot permettant aux utilisateurs finaux de visualiser et d'interagir avec les
données traitées et centralisées

Vos Missions :

Leadership technique :
- Assurer un rôle de leadership technique auprès des équipes de développement
- Porter la vision technique au sein des équipes Agile
- Animer les équipes de développement et transmettre les bonnes pratiques
- Participer aux conceptions techniques et veiller à leur alignement avec la stratégie

Conception et traduction des exigences :
- Conseiller les parties prenantes sur les meilleures solutions techniques
- Traduire les exigences stratégiques en conceptions robustes, scalables et sécurisées
- Accompagner et valider les architectures techniques, les conceptions et la modélisation, en
assurant le respect des standards

Gestion de la qualité et gouvernance technologique :
- Garantir les bonnes pratiques de développement et de gouvernance technologique
- Veiller à la qualité des livrables et au respect des plannings
- Anticiper les problématiques et être proactif dans leur résolution
Veille technologique et amélioration continue :
- Assurer une veille technologique active pour maintenir la pertinence et l'efficacité des
solutions
- Proposer des innovations pour améliorer la stabilité, la performance, et l'évolutivité des
systèmes
- Participer à la mise en place de nouveaux concepts comme l'architecture Data Mesh

Stack technique requise :
- SQL : Solides compétences en requêtes SQL et gestion des bases de données relationnelles
- Kafka : Expérience avec Apache Kafka pour la gestion des flux de données en temps réel
- Trino : Maîtrise de Trino pour l'interrogation de données distribuées et fédérées
- Java / Spring : Développement d'applications backend robustes avec Java et le framework
Spring Boot
- Hive : Compétence dans l'utilisation de Hive pour la gestion de données dans des
environnements de Big Data
- Hadoop : Expérience avec l'écosystème Hadoop pour le traitement et le stockage de grandes
quantités de données
Technologies supplémentaires appréciées :
- Debezium : Si vous avez déjà exploré Debezium