Il problema con un semplice tentativo è che hai un cast che chiama il cast, chiama il cast, chiama il cast...
Devi in qualche modo allontanarti da varchar->enum nel tuo cast. Il modo più semplice (più comprensibile) è semplicemente convertire manualmente. Nota che le stringhe letterali che vengono lanciate nell'istruzione case non sono testo, sono di tipo sconosciuto tra virgolette che elude la ricorsione infinita.
BEGIN;
CREATE TYPE t_tl AS ENUM ('red', 'amber', 'green');
CREATE FUNCTION dummy_cast(varchar) RETURNS t_tl AS $$
SELECT CASE $1
WHEN 'red' THEN 'red'::t_tl
WHEN 'amber' THEN 'amber'::t_tl
WHEN 'green' THEN 'green'::t_tl
END;
$$ LANGUAGE SQL;
CREATE CAST (varchar AS t_tl) WITH FUNCTION dummy_cast(varchar) AS ASSIGNMENT;
CREATE TABLE t (x t_tl);
INSERT INTO t VALUES ('red');
INSERT INTO t VALUES ('green'::varchar);
SELECT * FROM t;
ROLLBACK;