Non c'è alcuna opzione per questo in MariaDB e MySQL. Ho riscontrato il tuo stesso problema alcuni mesi fa, ho cercato molto e alla fine l'ho risolto parzialmente creando un'area di archiviazione speciale sul NAS per i loro set di dati temporanei.
Crea una cartella sul tuo NAS o una partizione su un HDD interno, sarà per definizione di dimensioni limitate, quindi montala e, in mysql ini, assegna la memoria temporanea a questa unità:(scegli Windows/linux)
tmpdir="mnt/DBtmp/"
tmpdir="T:\"
il servizio mysql dovrebbe essere riavviato dopo questa modifica.
Con questo approccio, una volta che l'unità è piena, si verificano ancora "problemi strani" con le query sul disco, ma gli altri problemi sono scomparsi.
