sql >> データベース >  >> RDS >> Mysql

TimeStampパーティションキーSTUCKのSparkJoinWithCassandraTable

    使用方法:

    sc.parallelize(startDate to endDate)
    

    startDataとendDateを、日付から次の形式で生成されたLongsとして使用します。

    ("yyyy-MM-dd HH:mm:ss")
    

    私はSparkを作成して、C *テーブルと結合する巨大な配列(100,000以上のオブジェクト)を構築しましたが、まったくスタックしませんでした。C*は、結合を実行してデータを返すために一生懸命働きました。

    最後に、範囲を次のように変更しました:

    case class TableKey(created_dh: String)
    val data = Array("2015-10-29 12:00:00", "2015-10-29 13:00:00", "2015-10-29 14:00:00", "2015-10-29 15:00:00")
    val snapshotsFiltered = sc.parallelize(data, 2).map(TableKey(_)).joinWithCassandraTable("listener","snapshots_tnew")
    

    そして今は大丈夫です。




    1. PostgreSQLデータをリモートサイトに複製する方法

    2. AndroidSQliteがデータを更新しない

    3. フラットファイルでMySQLを使用するのはなぜですか?

    4. SQLAlchemyでオブジェクトが存在しない場合にオブジェクトを挿入する最速の方法