次の手順に従って、Anaconda3を使用してMySQLでApacheAirflowをインストールします
1) 前提条件をインストールする
yum install gcc gcc-c++ -y
yum install libffi-devel mariadb-devel cyrus-sasl-devel -y
dnf install redhat-rpm-config
2) Anaconda3をインストールします(Python 3.7.6に付属)
yum install libXcomposite libXcursor libXi libXtst libXrandr alsa-lib mesa-libEGL libXdamage mesa-libGL libXScrnSaver
wget https://repo.anaconda.com/archive/Anaconda3-2020.02-Linux-x86_64.sh
chmod +x Anaconda3-2020.02-Linux-x86_64.sh
./Anaconda3-2020.02-Linux-x86_64.sh
必ずconda initialize
を実行してください インストール中にプロンプトが表示されたら、これにより、後続の手順で正しいバージョンのpythonとpipが使用されていることを確認します。
3) ApacheAirflowをインストールする
pip install apache-airflow[mysql,celery]
必要に応じて、他のサブパッケージを追加できます。 AirflowがMySQLデータベースをバックエンドとして使用するために必要なものだけを含めました。
4) エアフローを初期化する
export AIRFLOW_HOME=~/airflow
airflow initdb
ここから、MySQLサーバーを構成するために実行した手順を模倣しました
5) MySQLサーバーをインストールする
rpm -Uvh https://repo.mysql.com/mysql80-community-release-el7-3.noarch.rpm
sed -i 's/enabled=1/enabled=0/' /etc/yum.repos.d/mysql-community.repo
yum --enablerepo=mysql80-community install mysql-server
systemctl start mysqld.service
6) MySQLにログインし、Airflow用にデータベースを構成します
mysql> CREATE DATABASE airflow CHARACTER SET utf8 COLLATE utf8_unicode_ci;
mysql> CREATE user 'airflow'@'localhost' identified by 'Airflow123';
mysql> GRANT ALL privileges on *.* to 'airflow'@'localhost';
7) Airflow構成ファイル(〜/ airflow / airflow.cfg)を更新します
sql_alchemy_conn = mysql://airflow:[email protected]:3306/airflow
executor = CeleryExecutor
8) エアフローを初期化する
airflow initdb