Penso che tu debba enumerare i valori e le variabili sono il modo più semplice. Quindi, un join aggiuntivo ti fornisce le informazioni necessarie per ordinare in base ai nomi più frequenti nella tabella:
select t.*
from (select t.*,
(@rn := if(@n = name, @rn + 1,
if(@rn := name, 1, 1)
)
) as rn
from t cross join
(select @n := '', @rn := 0
order by name
) t join
(select name, count(*) as cnt
from t
group by name
) tn
on t.name = tn.name
where rn <= 4
order by cnt desc, name;