RDSセットアップウィザードのステップ4（ "Additional Config"）では、DBがパブリックアクセス可能かどうかを選択できます（アクセスできない場合は、セキュリティグループの設定に関係なく、アクセスはVPC内に制限されます）。ホスト名が54.*と172.*のどちらに解決されるかを決定するのはそれだと思います。
最初のインスタンスはプライベートに設定されている可能性があります-私が知る限り、これは初期化後に変更することはできません。同様の問題が発生し、パブリックにアクセスできるように設定された新しいインスタンスを作成することで解決しました。