一時テーブルを(明示的に)使用したくない場合は、これでうまくいきます:
SELECT id FROM (
(SELECT 1 AS id) UNION ALL
(SELECT 2 AS id) UNION ALL
(SELECT 3 AS id) UNION ALL
(SELECT 4 AS id) UNION ALL
(SELECT 5 AS id)
) AS list
LEFT JOIN users USING (id)
WHERE users.id IS NULL
ただし、非常に醜く、非常に長いため、IDのリストが長い場合にどのように機能するかについては疑問があります。