Prova la sintassi SIGNAL - https://dev.mysql.com/ doc/refman/5.5/en/signal.html
create trigger agency_check
before insert on foo
for each row
begin
if (new.agency < 1 or new.agency >5) then
SIGNAL SQLSTATE '45000' SET MESSAGE_TEXT = 'your error message';
end if
end
MODIFICA
Aggiornato in base al commento popolare di seguito di Bill Karwin.