Puoi usare le virgolette letterali:
stmt := q'[insert into MY_TBL (Col) values('ER0002')]';
La documentazione per i letterali può essere trovata qui.
In alternativa, puoi utilizzare due virgolette per denotare una singola virgoletta:
stmt := 'insert into MY_TBL (Col) values(''ER0002'')';
Il meccanismo di quotazione letterale con la sintassi Q è più flessibile e leggibile, IMO.
