Module C10
La formation “Le traitement des logs avec Hadoop et ELK” a vocation à former des développeurs au traitement des logs avec Hadoop et la suite Elastic Search Logstash Kibana (ELK).
Cette formation s’adresse à des populations de formation en informatique (développeurs) ayant une solide connaissance du Java et à l’aise avec les outils de développement Java comme Eclipse ou IntelliJ, Maven et si possible également une connaissance de Scala et Spark grâce au cursus C17.
Programme
Jour 1 : Tour des différents outils open source applicables
- Quelques rappels sur Hadoop et sur les outils open source hors Hadoop
- Flume, Nifi, Logstash : les outils open source pour injecter les logs avec leurs
- Introduction à Kafka : le Message Oriented Middleware avec TP
- Storm et Spark streaming : pour gérer les aspects temps réels
- Log-island : une fine couche open source pour traiter les messages en temps réel
- Elastic Search, Solr ou les bases de données pouvant être réceptacles des logs
Jour 2 : Injection de logs avec ELK
- Introduction à Elastic Search
- Introduction à Logstash
- Introduction à Kibana
- Utilisation de la suite ELK (Elastic Search Kibana) pour injecter ses logs dans Elastic Search avec TP
Jour 3 : Traitement événementiel et temps réel des logs avec Kafka et Spark streaming
- Utilisation du logiciel open source log-island pour faire du complex event processing avec Kafka et Spark streaming avec TP
Pré-requis : Connaissance solide de Java et des environnements de développement associés & Connaissance minimale de Scala et Spark