Prima di MySQL 5.5. non è stato possibile fermare un inserto all'interno di un grilletto. Lì dove qualche brutto lavoro in giro ma niente che consiglierei. Dalla 5.5 puoi usare SIGNAL per farlo.
delimiter //
drop trigger if exists aborting_trigger //
create trigger aborting_trigger before insert on t
for each row
begin
set @found := false;
select true into @found from t where a=new.a and b=new.b;
if @found then
signal sqlstate '45000' set message_text = 'duplicate insert';
end if;
end //
delimiter ;