Stai tentando di accodare il metodo di invio dell'istanza dell'oggetto mail e RQ non può accodare i metodi di istanza. Se guardi la documentazione in fondo alla pagina, menziona questo:
http://python-rq.org/docs/
Prova a definire un altro metodo e a inviare la posta in quel modo. Come...
from flask.ext.mail import Mail,Message
from rq import Queue
mail = Mail()
q = Queue()
def queue_mail(msg):
mail.send(msg)
@mod.route('/test')
def m11():
msg = Message("Signup Successfull",
recipients=['[email protected]'])
msg.body = "Hello there, Welcome!"
q.enqueue(queue_mail, msg)
return 'done'