sql >> データベース >  >> RDS >> Mysql

HadoopでApacheエアフローを使用してMySqlを構成する際の問題に直面しています

    次の手順に従って、Anaconda3を使用してMySQLでApacheAirflowをインストールします

    1) 前提条件をインストールする

    yum install gcc gcc-c++ -y
    yum install libffi-devel mariadb-devel cyrus-sasl-devel -y
    dnf install redhat-rpm-config
    

    2) Anaconda3をインストールします(Python 3.7.6に付属)

    yum install libXcomposite libXcursor libXi libXtst libXrandr alsa-lib mesa-libEGL libXdamage mesa-libGL libXScrnSaver
    wget https://repo.anaconda.com/archive/Anaconda3-2020.02-Linux-x86_64.sh
    chmod +x Anaconda3-2020.02-Linux-x86_64.sh 
    ./Anaconda3-2020.02-Linux-x86_64.sh
    

    必ずconda initializeを実行してください インストール中にプロンプ​​トが表示されたら、これにより、後続の手順で正しいバージョンのpythonとpipが使用されていることを確認します。

    3) ApacheAirflowをインストールする

    pip install apache-airflow[mysql,celery]
    

    必要に応じて、他のサブパッケージを追加できます。 AirflowがMySQLデータベースをバックエンドとして使用するために必要なものだけを含めました。

    4) エアフローを初期化する

    export AIRFLOW_HOME=~/airflow
    airflow initdb
    

    ここから、MySQLサーバーを構成するために実行した手順を模倣しました

    5) MySQLサーバーをインストールする

    rpm -Uvh https://repo.mysql.com/mysql80-community-release-el7-3.noarch.rpm 
    sed -i 's/enabled=1/enabled=0/' /etc/yum.repos.d/mysql-community.repo 
    yum --enablerepo=mysql80-community install mysql-server 
    systemctl start mysqld.service
    

    6) MySQLにログインし、Airflow用にデータベースを構成します

    mysql> CREATE DATABASE airflow CHARACTER SET utf8 COLLATE utf8_unicode_ci; 
    mysql> CREATE user 'airflow'@'localhost' identified by 'Airflow123'; 
    mysql> GRANT ALL privileges on *.* to 'airflow'@'localhost'; 
    

    7) Airflow構成ファイル(〜/ airflow / airflow.cfg)を更新します

    sql_alchemy_conn = mysql://airflow:[email protected]:3306/airflow
    executor = CeleryExecutor
    

    8) エアフローを初期化する

    airflow initdb
    



    1. Oracleでセッションの通貨記号を変更する方法

    2. SQLクエリから複数のページを作成する

    3. PHPをサポートする無料のWebホスティング

    4. mySQL ::別のテーブルのデータをテーブルに挿入しますか?