1つのオプションは、spark-redisを使用せず、Redisで直接ルックアップすることです。これは、df.mapPartitionsで実現できます。 働き。 Spark DStreamsの例は、https：//blog.codecentric.de/en/2017/07/lookup-additional-data-in-spark-streaming/にあります。構造ストリーミングの考え方も同様です。 Redis接続を適切に処理するように注意してください。
1つのオプションは、spark-redisを使用せず、Redisで直接ルックアップすることです。これは、df.mapPartitionsで実現できます。 働き。 Spark DStreamsの例は、https：//blog.codecentric.de/en/2017/07/lookup-additional-data-in-spark-streaming/にあります。構造ストリーミングの考え方も同様です。 Redis接続を適切に処理するように注意してください。