sql >> データベース >  >> RDS >> Mysql

PDO-MySQLデータベースに大きな配列を挿入します

    トランザクションやバッチ挿入がリソース使用量の問題に対する実行可能な解決策であるかどうかはまだ疑問ですが、Daveが提案したような大規模なステートメントを準備するよりも優れた解決策です。

    これらを試してみて、役立つかどうかを確認してください。

    以下は、PDOのエラー処理モードが例外をスローするように設定されていることを前提としています。例:$db->setAttribute(PDO::ATTR_ERRMODE, PDO::ERRMODE_EXCEPTION); 何らかの理由で例外モードを使用できない場合は、execute()の戻り値を確認する必要があります。 毎回、独自の例外をスローします。

    単一のトランザクション:

    $sql = $db->prepare("INSERT INTO players (name, level, vocation, world, month, today, online) VALUES (:name, :level, :vocation, :world, :time, :time, :online) ON DUPLICATE KEY UPDATE level = :level, vocation = :vocation, world = :world, month = month + :time, today = today + :time, online = :online");
    
    $db->beginTransaction();
    try {
        foreach ($players as $player) {
            $sql->execute([
                ":name" => $player->name,
                ":level" => $player->level,
                ":vocation" => $player->vocation,
                ":world" => $player->world,
                ":time" => $player->time,
                ":online" => $player->online
            ]);
        }
        $db->commit();
    } catch( PDOException $e ) {
        $db->rollBack();
        // at this point you would want to implement some sort of error handling
        // or potentially re-throw the exception to be handled at a higher layer
    }
    

    バッチ処理:

    $batch_size = 1000;
    for( $i=0,$c=count($players); $i<$c; $i+=$batch_size ) {
        $db->beginTransaction();
        try {
            for( $k=$i; $k<$c && $k<$i+$batch_size; $k++ ) {
                $player = $players[$k];
                $sql->execute([
                    ":name" => $player->name,
                    ":level" => $player->level,
                    ":vocation" => $player->vocation,
                    ":world" => $player->world,
                    ":time" => $player->time,
                    ":online" => $player->online
                ]);
            }
        } catch( PDOException $e ) {
            $db->rollBack();
            // at this point you would want to implement some sort of error handling
            // or potentially re-throw the exception to be handled at a higher layer
            break;
        }
        $db->commit();
    }
    


    1. jspのパスでデータベースからファイルを取得する

    2. Oracleはエラー時にトランザクションをロールバックしますか?

    3. PythonMySqlインサートが機能しない

    4. PostgreSQL-GROUPBY句または集計関数で使用