Anche se non infallibile, puoi controllare la stringa USER_AGENT ed eseguire quel codice solo se 'bot' non esiste.
if(stripos($_SERVER['HTTP_USER_AGENT'],'bot') === false){ }
Ciò fermerebbe qualsiasi bot che abbia effettivamente un bot nella stringa dell'agente utente che non presta attenzione a robots.txt.
