Devi configurare la codifica del client di Psycopg2. Consulta la documentazione SQLAlchemy :
Il client_encoding
il parametro può essere specificato come stringa di query nell'URL del motore:
postgresql://user:[email protected]/dbname?client_encoding=utf8