Devi assemblare la regex a livello di codice. Quindi:
import re
regex = re.compile('^' + re.escape(variable))
items = collection.find({ 'key': regex })
O
items = collection.find({'key': { '$regex': '^' + re.escape(variable) }})
Nota che il codice usa re.escape
per eseguire l'escape della stringa nel caso in cui contenga caratteri speciali.