Module M6
La formation « Traitement Temps Réel avec Spark Streaming » a vocation à former des développeurs et architectes au traitement de données en temps réel avec la technologies Spark Streaming.
Cette formation s’adresse à des populations de formation en informatique (développeurs) ayant une solide connaissance du Java et à l’aise avec les outils de développement Java comme Eclipse ou IntelliJ, Maven etc.
Programme Traitement temps-réel avec Spark Streaming
- Rappels rapides sur l’écosystème Hadoop
- Rappels rapides sur Scala et Spark
- Les concepts de Spark Streaming : le StreamingContext, les DStreams
- Les input DStreams avec TP
- Les transformations sur les DStreams avec TP
- Les opérations de sortie sur les DStreams avec TP
- Les variables accumulators et broadcasts
- Les Data Frames et SQL sur ces Data Frames avec TP
- Les opétations MLLib sur les DStreams avec TP
- Checkpointing
- Déployer, monitorer et optimiser son application Spark Streaming
Pré-requis : Module M1 & Connaissance solide de Java et des environnements de développement associés