gem install pg --with-pg-configは機能し、バンドルは失敗します

bundle installを実行する前にこれを実行してみましたか ？

bundle config build.pg --with-pg-config=/usr/pgsql-9.1/bin/pg_config

http://bundler.io/v1.3/bundle_config.html