Wepayからのこれらの一連の投稿を読んでください。ここでは、Airflowを使用してMySQLデータベースをBigQueryに同期する方法について詳しく説明しています。
- https://wecode.wepay.com/posts/ wepays-data-warehouse-bigquery-airflow
- https://wecode.wepay.com/posts/airflow-wepay >
- (3つ目はBigQueryに関するものです)
要約として(引用):
- 認証、接続、DAGを設定します。
- MySQLからプルしてBigQueryにロードする列を定義します。
- データの読み込み方法を選択します:段階的または完全に。
- 重複排除。