表示されるメッセージは、そのgemを正しくインストールするための何かが不足していることを明確に示しています。
何らかの理由でMakefileを作成できませんでした。おそらく、必要なライブラリやヘッダーが不足しています。詳細については、mkmf.logファイルを確認してください。構成オプションが必要になる場合があります。
昨日リリースされた最新リリースのpg（0.10.0）のWindowsネイティブバージョンはありませんが、0.9.0をインストールすると、問題なくバイナリがインストールされます。
とにかく、gemをインストールする場合は、ビルド環境をインストールする必要があります。 RubyInstallerを使用している場合は、DevKitが必要です
gemのインストールでは、gemのインストールに追加のオプション（--with-pg-dirなど）を提供するだけで済みます。 ）
subst X: "C:\Program Files (x86)\PostgreSQL\8.3"
gem install pg -- --with-pg-dir=X:
subst X: /D