sql >> データベース >  >> RDS >> Mysql

MysqlからPigにテーブルデータを読み取る方法

    あなたが言うように、DBStorage データベースへの結果の保存のみをサポートします。

    MySQLからデータをロードするには、sqoop というプロジェクトを調べることができます。 (データベースからHDFSにデータをコピーします)、またはmysqlダンプを実行してから、ファイルをHDFSにコピーすることもできます。どちらの方法もある程度の相互作用が必要であり、Pigの内部から直接使用することはできません。

    3番目のオプションは、Pig LoadFuncの作成を検討することです(UDFを作成しようとしたと言います)。それほど難しいことではありません。DBStorageとほぼ同じオプション(ドライバー、接続資格情報、実行するSQLクエリ)を渡す必要があります。また、結果セットのメタデータ検査を使用してスキーマを自動生成することもできます。




    1. SYS_CONNECT_BY_PATH関数を使用する場合のOracleORA-30004、

    2. MySQLでテーブルを作成する方法

    3. PDOとプリペアドステートメントを使用したMySQLアップデートが機能しない

    4. OraclePLSQLの例の表タイプ