正解を提供してくれたDigitalRiverフォーラムのKamalNasserに感謝します(以下のコマンドにはroot権限が必要です ):
$ locale-gen en_US en_US.UTF-8
$ dpkg-reconfigure locales
これは元の回答への正しいリンクだと思います。DigitalOceanサイトが応答していないため、確認できません。 https://www.digitalocean.com/community/questions/postgresql-and-rails-4