Puoi creare due chiavi esterne con un vincolo di controllo che dice che esattamente una è vuota:
create table alien (id int primary key);
create table monster (id int primary key);
create table trophy (id int primary key,
alien_id int references alien(id),
monster_id int references monster(id),
check (alien_id is null <> monster_id is null)
);