Innanzitutto, nota che REGEXP_REPLACE può abbinare stringhe parzialmente e non hai bisogno di .* prima e dopo una parola di ricerca.
Il \ char deve essere sottoposto a escape per definire una barra rovesciata letterale, poiché \ di per sé consente l'escape dei caratteri per il motore MySQL. Vedi questa documentazione MySQL 8
:
Quindi, hai bisogno
REGEXP_LIKE("aaa abc ccc", "\\babc\\b")