この質問は、何よりも数式を微調整することに関するものです。
あなたが求めているのは、評価ではなく人気のようです。これを行う簡単な方法は、平均評価に投票数を掛けることです。これはどうですか（構文がオフの場合は失礼します。現在SQLサーバーから離れています）：
select From_ID, AVG(Rating) * COUNT(Rating) AS Rating FROM Ratings Group BY Fruit_IDORDER by Rating DESC
この式は、5の1票よりもはるかに高い1の1000票を評価することに注意してください。