HAVING句を使用して削除を行うことは可能ですか？

あまり。持つ句は集計を意味します。つまり、元の行はもうありません。

次のものが必要だと思います：

DELETE from UserPredictions
where UserId in (select UserId from UserPredictions group by UserId having count(*) < 500)