Redis
 sql >> Database >  >> NoSQL >> Redis

Ricerca dinamica Spark Structured Streaming con Redis

Un'opzione è non usare spark-redis, ma piuttosto cercare direttamente in Redis. Questo può essere ottenuto con df.mapPartitions funzione. Puoi trovare alcuni esempi di Spark DStreams qui https://blog.codecentric.de/en/2017/07/lookup-additional-data-in-spark-streaming/. L'idea per lo streaming strutturale è simile. Fai attenzione a gestire correttamente la connessione Redis.