Sospetto che Hibernate stia tentando di utilizzare il metodo "oggetto di grandi dimensioni" con PostgreSQL, che prevede la memorizzazione di un "handle" OID nel file nella tabella. Alcuni esempi di lettura:http://virgo47.wordpress.com/2008/06/13/jpa-postgresql-and-bytea-vs-oid-type/
Se vuoi continuare a usare solo una colonna di byte (e questo è notevolmente più semplice da lavorare sul lato SQL), usa BinaryType per mappare la colonna. Vedi:annotazione di ibernazione corretta per byte[]