Dopo aver passato ore a provare tutti i tipi di impostazioni nei file di configurazione e riavviare mysql dozzine di volte, mi è venuto in mente questo che sembra risolvere il problema (non è stato possibile trovarlo in nessuna documentazione da nessuna parte)
MySQLdb.connect(server, username, password, database, local_infile = 1)