sql >> データベース >  >> RDS >> Mysql

SQLコマンドのOrderby/sortとMergeJoinを使用して数百万行のSSISパッケージを最適化する

    2つの推奨事項があります:

    サーバー側の並べ替え

    OLE DBソースで、アクセスモードをSQLコマンドに変更します。そして、ORDER BY句を使用します:

    Select * from table ORDER BY col1, col2
    

    その後、OLE DBソースの高度なエディターを開く必要があります(OLE DBソースを右クリックし、高度なエディターを表示します) [列]タブに移動し、出力を変更しますIsSorted Trueへのプロパティ SortKeyPositionを変更するように設定します ORDERBY句で使用される列の場合。

    データをチャンクで読み取る

    MariaDB SQL構文についてはよくわかりませんが、SQLiteとOracleでいくつかの例を示します。

    アップデート1-パッケージの問題

    パッケージにはいくつかの問題があります:

    • 同じテーブルから読み取りと書き込みを行っています
    • 大量のデータに対してテーブルの更新と削除を実行しています
    • マージ結合を使用しています

    いくつかの推奨事項:

    • 同じ宛先テーブルから読み取り、書き込み、削除、更新を行うため、同じテーブルから読み取りと書き込みを行う代わりに、ステージングテーブルを使用してみてください。
    • 宛先テーブルでパーティションを使用して、テーブル全体ではなく特定のパーティションからレコードを削除および更新できるようにします



    1. SQLで年ごとにグループ化する方法

    2. SQL Server 2008 Express CONCAT()は存在しませんか?

    3. 画像コードphpのアップロードで間違いを見つけることができません

    4. MariaDBの日時値に秒を追加する8つの方法