Big data engineer

Nous recherchons un consultant DEVOPS Data expérimenté pour une mission en support et optimisation de la Cloudera Data Platform (CDP). Vous serez en charge de garantir la stabilité, la performance et l'évolutivité de la plateforme, tout en apportant une expertise sur des problématiques complexes liées à l'infrastructure Big Data et à l'optimisation des services.

Missions :
- Support Technique Niveau 2 et 3 sur Cloudera Data Platform (CDP)
- Analyser, diagnostiquer et résoudre des incidents complexes affectant la plateforme Cloudera.
- Assurer un support de niveau 2 et 3 pour les équipes techniques et métiers.
- Gérer les escalades des incidents critiques et collaborer avec l'éditeur si nécessaire.
- Implémenter des outils de monitoring avancés pour anticiper et résoudre les problèmes.
- Optimiser les performances des services Hadoop, Spark et Kafka.
- Gestion et Optimisation de Kafka
- Administrer et optimiser l'infrastructure Kafka sur Cloudera.
- Gérer la scalabilité et la résilience des clusters Kafka.
- Superviser efficacement les topics, brokers et consommateurs.
- Résoudre les incidents liés à la latence, au throughput et à la gestion des offsets.
- Mettre en place des stratégies de sécurisation et de haute disponibilité de Kafka.
- Automatisation et Développement
- Développer des scripts Shell, Ansible et Python pour automatiser le support et l'exploitation.
- Automatiser la gestion des incidents récurrents et la maintenance des environnements.
- Déployer des pipelines CI/CD pour les services Cloudera, Kafka et les bases de données associées.
- Optimisation et Dimensionnement de l'Infrastructure
- Travailler sur le dimensionnement et l'optimisation des clusters Cloudera pour une gestion efficace des charges de travail.
- Dimensionner les clusters ElasticSearch en fonction des consommations de ressources.
- Proposer des évolutions d'architecture en collaboration avec les architectes.
- Assurer une veille technologique et être force de proposition pour améliorer la plateforme.
- Documentation et Transmission de Connaissances
- Documenter les incidents récurrents, les procédures de résolution et les bonnes pratiques.
- Former les équipes internes sur l'utilisation de la plateforme Cloudera et Kafka.
- Rédiger des guides de troubleshooting pour les équipes de support.




Profil recherché
- Vous avez une expérience significative dans l'administration et le support de la Cloudera Data Platform.
- Vous maîtrisez Kafka : optimisation, gestion des performances, scalabilité et haute disponibilité.
- Vous êtes à l'aise avec les langages Shell, Ansible et Python pour l'automatisation et le déploiement.
- Vous avez de l'expérience sur les bases de données Elasticsearch.
- Vous savez intervenir sur des problématiques de dimensionnement et d'optimisation des performances dans un environnement Big Data.
- Vous êtes autonome, rigoureux et force de proposition.
- La connaissance de la plateforme Dataiku serait un plus.
- Vous avez une bonne maîtrise de Linux et des environnements en ligne de commande.
- Vous possédez un excellent sens du service client et êtes capable de collaborer efficacement avec des équipes multidisciplinaires.

Qualités recherchées :
- Autonomie et rigueur dans le travail
- Esprit curieux et force de proposition
- Excellente communication et pédagogie pour la transmission de connaissances
- Sens du service client et gestion des priorités