RAND、LIMITではなくLIMIT、RAND

これは、内部選択を使用して行うことができます。内側の選択で上位20行を選択します。外側の選択順序で、これらの行をランダムに選択し、上位5つを選択します。

SELECT *
FROM (
    SELECT *
    FROM table1
    ORDER BY score DESC
    LIMIT 20
) AS T1
ORDER BY RAND()
LIMIT 5