Come posso evitare che il carattere sostitutivo si trasformi in un'entità html in PHP?

Verifica la codifica sul tuo html (ad esempio)

<meta http-equiv="Content-Type" content="text/html; charset=<your_charset>">

e sul tuo database (ad esempio in MySQL)

DEFAULT CHARACTER SET <your_charset> COLLATE <your_collate>

Deve essere uguale.