2つの列の組み合わせに対する一意の制約？

これは、式のインデックスを使用して行うことができます：

create unique index unq_test_a_b on (test(least(a, b), greatest(a, b));

uniqueはないと思います 制約は式を許可します（そして今のところテストするのに便利なPostgresはありません）が、これは本質的に同じことです。