ポスト/プレスクリプトフックを使用した高度なフェイルオーバー

[email protected]:~# ls -alth /opt/pre_failover.sh
-rwxr-xr-x 1 root root 104 Jun 14 05:09 /opt/pre_failover.sh

ClusterControlの前後のスクリプト

このデモンストレーションでは、cluster_idは3です。ドキュメントで前述したように、これらのスクリプトはCCコントローラーホストに存在する必要があります。したがって、私の/etc/cmon.d/cmon_3.cnfには、次のものがあります。

[[email protected] cmon.d]# tail -n3 /etc/cmon.d/cmon_3.cnf
replication_pre_failover_script = /etc/cmon.d/failover/replication_failover_pre_clus3.sh
replication_post_failover_script = /etc/cmon.d/failover/replication_failover_post_clus3.sh
replication_post_unsuccessful_failover_script = /etc/cmon.d/failover/replication_unsuccessful_failover_post_clus3.sh

一方、次の「事前」フェイルオーバースクリプトは、両方のノードがCCコントローラーホストに到達できたかどうかを判別します。以下を参照してください：

[[email protected] cmon.d]# tail -n+1 /etc/cmon.d/failover/replication_failover_pre_clus3.sh
#!/bin/bash

arg1=$1
debnode5_tstamp=$(tail /tmp/debnode5.tmp)
debnode9_tstamp=$(tail /tmp/debnode9.tmp)
cc_tstamp=$(date -u +%s)
diff_debnode5=$(expr $cc_tstamp - $debnode5_tstamp)
diff_debnode9=$(expr $cc_tstamp - $debnode5_tstamp)

if [[ "$diff_debnode5" -le  60 && "$diff_debnode9" -le 60 ]]; then
   echo "failover cannot proceed. It's just a false alarm. Checkout the firewall in your CC host";
   exit 1;
elif [[ "$diff_debnode5" -gt 60 || "$diff_debnode9" -gt 60 ]]; then
        echo "Either both nodes ($arg1) or one of them  were not able to connect the CC host. One can be unreachable. Failover proceed!";
    exit 0;
else
   echo "false alarm. Failover discarded!"
   exit 1;
fi
Whereas my post scripts just simply echoes and redirects the output to a file, just for the test.
[[email protected] failover]# tail -n+1 replication_*_post*3.sh
==> replication_failover_post_clus3.sh <==
#!/bin/bash
echo "post failover script on cluster 3 with args: [email protected]" > /tmp/post_failover_script_cid3.txt
==> replication_unsuccessful_failover_post_clus3.sh <==
#!/bin/bash
echo "post unsuccessful  failover script on cluster 3 with args: [email protected]" > /tmp/post_unsuccessful_failover_script_cid3.txt

フェイルオーバーのデモ

次に、プライマリノードのネットワーク停止をシミュレートして、どのように反応するかを見てみましょう。プライマリノードで、レプリカおよびCCコントローラーとの通信に使用されるネットワークインターフェイスを停止します。

[email protected]:~# ip link set enp0s8 down

フェイルオーバーの最初の試行中に、CCは/etc/cmon.d/failover/replication_failover_pre_clus3.shにあるプリスクリプトを実行できました。以下の仕組みをご覧ください：

明らかに、ログに記録されたタイムスタンプがまだ1分以内であるか、プライマリがCCコントローラーに接続できたのはほんの数秒前であるため失敗します。明らかに、実際のシナリオを扱っている場合、これは完璧なアプローチではありません。ただし、ClusterControlは、期待どおりにスクリプトを完全に呼び出して実行することができました。さて、それが実際に1分以上（つまり> 60秒）に達した場合はどうでしょうか？

2回目のフェイルオーバーの試行では、タイムスタンプが60秒を超えているため、真陽性と見なされます。つまり、意図したとおりにフェイルオーバーする必要があります。 CCはそれを完全に実行し、意図したとおりにポストスクリプトを実行することさえできました。これは、ジョブログで確認できます。以下のスクリーンショットを参照してください：

投稿スクリプトが実行されたかどうかを確認すると、ログを作成できました期待どおりにCC/tmpディレクトリにあるファイル

[[email protected] tmp]# cat /tmp/post_failover_script_cid3.txt

argsを使用したクラスター3でのフェイルオーバー後のスクリプト：192.168.30.50 192.168.30.90 192.168.30.50 192.168.30.90 192.168.30.90

これで、トポロジが変更され、フェイルオーバーが成功しました！

結論

複雑なデータベース設定の場合、高度なフェイルオーバーが必要な場合は、事前/事後スクリプトが非常に役立ちます。 ClusterControlはこれらの機能をサポートしているため、それがいかに強力で役立つかを示しました。制限はありますが、特に実稼働環境で物事を達成可能で有用なものにする方法は常にあります。