Column1がnullでない場合は、Column1で並べ替えます。それ以外の場合は、Column2で並べ替えます。

次のようなもの：

ORDER BY CASE 
    WHEN Column1 IS NOT NULL THEN Column1
    ELSE Column2
END

書くのと同じ：

ORDER BY COALESCE(Column1, Column2)

どちらも正常なRDBMSで機能するはずです。