インデックスの削除が作成よりも時間がかかるのはなぜですか？

あなたが言及したサイズのテーブルのインデックスは、一般的にかなり速く（そして確かに3分以上より速く）ドロップできるはずです。テーブル/インデックスが使用されていたため、削除できなかったようです。

pg_stat_activityを照会することで、それを確認できます。 テーブルを作成し、インデックスを作成したテーブルに関連するアクティビティを探します。