stai selezionando tutte le colonne nella query interna e quindi stai tentando di eseguire %10 , ti dà un errore perché non puoi %10 a più colonne. Cambialo invece per selezionare una colonna.
(SELECT * FROM participants ORDER BY serial DESC LIMIT 0, 1) % 10
seleziona più colonne e quindi prova a modificare entro 10