Docker, Kubernetes, Openstack, Terraform, DevOps ...

Avancé 2 jours (14 h) 3000 ht

Réf : DATA2

Formation Avancée pour Data Ingénieur Cloud – EMR et Kubernetes

Apprenez à faire la différence pratique entre utiliser un service natif (EMR) avec YARN comme gestionnaire de ressources et Kubernetes, pour, entre autres, réduire les coûts.

Cette formation s’adresse aux Data Ingénieurs confirmés ayant déjà de l’expérience dans un environnement data sur le Cloud AWS, Azure ou GCP, et qui souhaiteraient connaître la différence pratique entre utiliser un service natif (EMR) avec YARN comme gestionnaire de ressources et Kubernetes, pour, entre autres, réduire les coûts.

Programme

EMR
  • Comment fonctionne le pricing des machines dans EMR ?
  • Comment fonctionne le scaling des machines dans EMR ?
  • Comment réduire les coûts des machines EMR ?
Spark avec Kubernetes
  • Lancer un job Spark sur Kubernetes.
  • Gestion et monitoring des ressources du job.
  • Montée en charges – Pods et Machines.
  • Failover des jobs Spark sur Kubernetes.
  • Gestion du stockage et des volumes.
Migration des jobs Spark d’EMR vers Kubernetes
  • Étapes à suivre pour la migration.
  • Les bonnes pratiques et la mise en place des tests pré-migration.
  • Monitoring des coûts des jobs.
  • TP : Migration d’une application Spark tournant sur EMR en utilisant S3 comme service de stockage vers Kubernetes.
Télécharger l'article au format PDF