サブクエリを使用する必要があります:
SELECT x.user,
AVG(x.cnt)
FROM (SELECT user, COUNT(answer) AS cnt
FROM surveyValues
WHERE study='a1'
GROUP BY user) x
GROUP BY x.user
アグリゲートを別のアグリゲートでラップすることはできません。 MySQLが分析/ランキング/ウィンドウ関数をサポートしている場合は、分析を集約でラップできます...