Questo sembra un problema dall'inizio. Qualsiasi tipo di ricerca richiederà una scansione della tabella e sappiamo tutti che è negativo.
Che ne dici di aggiungere una colonna con un hash dei numeri di telefono correnti dopo aver eliminato tutti i caratteri di formattazione. Quindi puoi almeno indicizzare i valori hash ed evitare una scansione completa della tabella.
O la quantità di dati è piccola e non si prevede che cresca molto? Quindi forse risucchia tutti i numeri nel client ed esegue una ricerca lì.