大規模なデータセット (>100Mio 行) からの重複の削除

SQL Server を使用している場合は、共通テーブル式からの削除を使用できます:

with cte as (
    select row_number() over(partition by SICComb, NameComb order by Col1) as row_num
    from Table1
)
delete
from cte
where row_num > 1
  

 ここでは、すべての行に番号が付けられ、SICComb の一意の組み合わせごとに独自のシーケンスが取得されます + NameComb . order by を選択して、削除する行を選択できます。 over の内側