PostgreSQLのGROUPBYとCOUNT

COUNT(DISTINCT post_id) FROM votesが必要だと思います 。

http://www.postgresql.org/docs/current/static/sql-expressions.htmlの「4.2.7.AggregateExpressions」セクションを参照してください。

編集：アーウィンのコメントによる私の不注意な間違いを修正しました。