Procesamiento de Datos en Streaming usando Kafka y Spark Structured Streaming

Vivimos actualmente en un mundo donde se genera una gran cantidad de datos por segundo, las industrias y los casos de uso son variados. Esta gran cantidad de datos en streaming pueden proveer información útil si es que se analiza correctamente, o con la ayuda de algoritmos de aprendizaje automático predecir patrones de comportamiento. E.g. Entre las empresas que usan procesamiento de datos en Spark están Amazon, Netflix, Uber. Apache Spark ha evolucionado rápidamente siendo la tecnología Big Data mayormente usada cuando nos…