Usa il BINARY parola chiave, che forza REGEXP per abbinare la stringa come una stringa binaria, che viene fatta con distinzione tra maiuscole e minuscole.
SELECT 'a' REGEXP 'A', 'a' REGEXP BINARY 'A';
Anche se questo non è esplicitamente indicato nei documenti (che puoi farlo con una stringa normale), secondo la mia esperienza funziona come previsto.
