DELETE tutto dove il vincolo della chiave esterna MySQL non fallisce

Devi LEFT JOIN la tabella di riferimento e aggiungi una condizione che dice che la riga è mancante in quella tabella.

Ad esempio:

DELETE a FROM a
LEFT JOIN b ON b.a_id = a.id
WHERE b.a_id IS NULL;