行n+1からn-1までのSQL順序付けデータ

つまり、テーブルの場合

ID
---
1
2
3
4   <--N
5
6

希望する結果を次のように注文しますか？

5   <--N + 1
6
1
2
3   <--N - 1

もしそうなら

SELECT ID
FROM T
WHERE ID <> 4
ORDER BY CASE WHEN ID > 4 THEN 0 ELSE 1 END, ID