Per la velocità e l'utilizzo ottimizzato della memoria, direi di andare con un database a mani basse. Mettere un indice solo nella colonna del nome probabilmente aumenterà le prestazioni in un modo mai ottenibile con un file di testo.
Un database ha anche altri vantaggi come una sanificazione (nessuna rottura di delimitatori, nuove righe ecc.) e un minor pericolo di conflitti di accesso quando più istanze tentano di leggere dalla tabella e, a differenza di un approccio basato su file, i conflitti di scrittura sono vincolati al solo record in questione.
