ORA-01797:questo operatore deve essere seguito dall'errore QUALSIASI o TUTTO

Usa semplicemente la date parole chiave e costanti ISO:

select *
from file_log f
where F.DCP_SRCE_FILENM_FK in ('ABC','DEF') and
      F.TRANS_DT >= date '2017-08-25' and
      F.TRANS_DT <= date '2017-08-30';

Ricevi l'errore perché manca la seconda costante to_date() . Ma potresti anche usare la sintassi corretta per una costante di data.