カテゴリ別に重複せずにMySQL8の上位Nスコアを表示する

order by句はselect句の後に実行されるため、min（score）のエイリアスを設定してみてください。

SELECT person, MIN(score) as min_score FROM golf_scores GROUP BY person ORDER BY min_score LIMIT 3;