Se vuoi che i dati vengano convertiti automaticamente, dovresti specificare il set di caratteri quando crei il motore:
create_engine('mysql+mysqldb:///mydb?charset=utf8')
Impostazione di use_unicode da solo non dirà a sqlalchemy quale set di caratteri utilizzare.
