Redis non sarà sicuramente più veloce di Java nativo su una singola macchina. Ti consentirebbe di distribuire l'elaborazione, ma se i blocchi di dati sono davvero grandi, è probabile che non rientrino comunque nella memoria. Senza sapere di più su ciò che stai facendo, suggerirei di archiviare i dati su disco. Quando ottieni più macchine, puoi montare in rete la partizione e condividere i dati in questo modo. In alternativa, Hadoop con MapReduce suona come il giusto tipo di cosa per quello che stai facendo.
