Redisは、単一のマシンでネイティブJavaよりも高速になることは間違いありません。処理を分散することはできますが、データのチャンクが実際に大きい場合は、とにかくメモリに収まらない可能性があります。何をしているのかよくわからないので、データをディスクに保存することをお勧めします。複数のマシンを入手する場合は、パーティションをネットワークマウントして、その方法でデータを共有できます。あるいは、MapReduceを使用したHadoopは、あなたがしていることに対して正しい種類のもののように聞こえます。