Possiamo farlo con un indice basato su funzione. Quanto segue fa uso di NVL2() che, come sai, restituisce un valore se l'espressione non è nulla e un valore diverso se è nullo. Potresti usare CASE() invece.
SQL> create table blah (name varchar2(10), email varchar2(20))
2 /
Table created.
SQL> create unique index blah_uidx on blah
2 (nvl2(email, name, null), nvl2(name, email, null))
3 /
Index created.
SQL> insert into blah values ('APC', null)
2 /
1 row created.
SQL> insert into blah values ('APC', null)
2 /
1 row created.
SQL> insert into blah values (null, 'example@sqldat.com')
2 /
1 row created.
SQL> insert into blah values (null, 'example@sqldat.com')
2 /
1 row created.
SQL> insert into blah values ('APC', 'example@sqldat.com')
2 /
1 row created.
SQL> insert into blah values ('APC', 'example@sqldat.com')
2 /
insert into blah values ('APC', 'example@sqldat.com')
*
ERROR at line 1:
ORA-00001: unique constraint (APC.BLAH_UIDX) violated
SQL>
Modifica
Poiché nel tuo scenario il nome sarà sempre popolato, avrai solo bisogno di un indice come questo:
SQL> create unique index blah_uidx on blah
2 (nvl2(email, name, null), email)
3 /
Index created.
SQL>