Devi usare le sottoquery:
SELECT x.user,
AVG(x.cnt)
FROM (SELECT user, COUNT(answer) AS cnt
FROM surveyValues
WHERE study='a1'
GROUP BY user) x
GROUP BY x.user
Non puoi avvolgere un aggregato con un altro aggregato. Potresti racchiudere un'analitica in un aggregato, se MySQL supportasse le funzioni di analisi/classificazione/windowing...