ORA-01799:una colonna potrebbe non essere collegata in modo esterno a una sottoquery

puoi riscriverlo spingendo la sottoquery in modo che non sia unita all'esterno:

select Count(C.setid)
  from mycustomer C
       left outer join (select *
                          from mycustoption co
                         where co.effdt <= (select Max(COI.effdt)
                                              from mycustoption COI
                                             where COI.setid = co.setid
                                               and COI.cust_id = co.cust_id
                                               and COI.effdt <= sysdate)) co
                    on ( C.setid = CO.setid
                         and C.cust_id = CO.cust_id )