HeartBeat2+DRBD構築 【DRBD障害対応】

HeartBeat2+DRBD構築　【DRBD障害対応】

DRBDにおいて、スプリットブレインが発生した場合の障害対応を説明します。

※スプリットブレイン
ネットワークの異常等のせいで本番系と待機系の間のハートビートのやり取りができなくなり、待機系が本番系が停止したと判断し本番系として起動して2台とも本番系となってしまう現象

DRBDのスプリットブレインを確認

■障害側サーバでスプリットブレインを確認
・/proc/drbdで確認

# cat /proc/drbd
version: 8.3.8 (api:88/proto:86-94)
GIT-hash: d78846e52224fd00562f7c225bcc25b2d422321d build by [e-mail], 2010-06-04 08:04:09
0: cs:StandAlone ro:Secondary/Unknown ds:UpToDate/DUnknown   r----
    ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:516

・/var/log/messagesで確認

# cat /var/log/messages
May 18 13:03:46 dev-db02 kernel: block drbd0: Split-Brain detected but unresolved, dropping connection!

■正常側サーバでスプリットブレインを確認
・/proc/drbdで確認

#  cat /proc/drbd
version: 8.3.8 (api:88/proto:86-94)
GIT-hash: d78846e52224fd00562f7c225bcc25b2d422321d build by [e-mail], 2010-06-04 08:04:09
0: cs:StandAlone ro:Primary/Unknown ds:UpToDate/DUnknown   r----
    ns:0 nr:0 dw:1110652 dr:4109 al:52 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:132684

DRBDのスプリットブレインから復旧する手順

■スプリットブレインからの復旧手順(方法1)
drbdサービスの再起動、またはOS再起動でもなおることを確認
※この方法は、あまりお勧めできません。方法2をお試しください。


■スプリットブレインからの復旧手順(方法2)
・「StandAlone」状態から復旧
【障害側サーバ】

[db2 ~]# drbdadm down all
# drbdadm down all
# cat /proc/drbd
version: 8.3.8 (api:88/proto:86-94)
GIT-hash: d78846e52224fd00562f7c225bcc25b2d422321d build by [e-mail], 2010-06-04 08:04:09
0: cs:Unconfigured

[db2 ~]# drbdadm attach all
# drbdadm attach all
# cat /proc/drbd
version: 8.3.8 (api:88/proto:86-94)
GIT-hash: d78846e52224fd00562f7c225bcc25b2d422321d build by [e-mail], 2010-06-04 08:04:09
0: cs:StandAlone ro:Secondary/Unknown ds:UpToDate/DUnknown   r----
    ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:516

[db2 ~]# drbdadm invalidate all
# drbdadm invalidate all
# cat /proc/drbd
version: 8.3.8 (api:88/proto:86-94)
GIT-hash: d78846e52224fd00562f7c225bcc25b2d422321d build by [e-mail], 2010-06-04 08:04:09
0: cs:StandAlone ro:Secondary/Unknown ds:Inconsistent/DUnknown   r----
    ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:6152896

[db2 ~]# drbdadm connect all
# drbdadm connect all
# cat /proc/drbd
version: 8.3.8 (api:88/proto:86-94)
GIT-hash: d78846e52224fd00562f7c225bcc25b2d422321d build by [e-mail], 2010-06-04 08:04:09
0: cs:WFConnection ro:Secondary/Unknown ds:Inconsistent/DUnknown C r----
    ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:6152896

【正常側サーバ】

[db1 ~]# drbdadm connect all
# drbdadm connect all
#  cat /proc/drbd
version: 8.3.8 (api:88/proto:86-94)
GIT-hash: d78846e52224fd00562f7c225bcc25b2d422321d build by [e-mail], 2010-06-04 08:04:09
0: cs:SyncSource ro:Primary/Secondary ds:UpToDate/Inconsistent C r----
    ns:13420 nr:0 dw:1110652 dr:23181 al:52 bm:0 lo:58 pe:30 ua:234 ap:0 ep:1 wo:b oos:6140416
        [>....................] sync'ed:  0.3% (5996/6008)M delay_probe: 0
        finish: 0:31:58 speed: 3,120 (3,120) K/sec

同期が開始される

PaceMaker+DRBDの運用関連記事

PaceMaker+DRBDの実践運用手順
DRBDのエラー対応
DRBDの基本コマンド

HeartBeat2+DRBD構築【目次】

01.　HeartBeat2+DRBD構築　　【DRBD構築手順】
02.　HeartBeat2+DRBD構築　　【DRBDの起動と確認】
03.　HeartBeat2+DRBD構築　　【HeartBeat 基本設定】
04.　HeartBeat2+DRBD構築　　【HeartBeat リソース設定】
05.　HeartBeat2+DRBD構築　　【Heart運用手順】
06.　HeartBeat2+DRBD構築　　【DRBD障害対応】
07.　HeartBeat2+DRBD構築　　【DRBD構築時に発生したエラー】
08.　「HeartBeat+DRBD」の構築手順に役立つ書籍

HeartBeat2+DRBD構築 【Heart運用手順】

HeartBeat2+DRBD構築　　【Heart運用手順】

HeartBeatの運用手順

・PostgreSQLを再起動する場合【Heart運用手順】
・リソースのスイッチオーバ【Heart運用手順】
・障害発生後の後処理【Heart運用手順】

PostgreSQLを再起動する場合【Heart運用手順】

・Heartbeat管理から外す

# crm_resource -p is_managed -r pgsql_4 -t primitive -v off

・独自監視(drbd_postgres_watch.sh)を追加している場合下記のコマンドを実行する

#/opt/scripts/hb/drbd_postgres_watch.sh  suspend

※独自監視(drbd_postgres_watch.sh)のCHKDIR変数の値のディレクトリがあることを確認（$DBROOT/hb_check）

・PostgreSQLのメンテナンス(再起動)

# /etc/init.d/postgresql restart

・Heartbeat管理下に戻す

# crm_resource -p is_managed -r pgsql_4 -t primitive -v on

・独自監視(drbd_postgres_watch.sh)の再開

 # /opt/scripts/hb/drbd_postgres_watch.sh  resume

※注意事項
再起動ではなく停止すると、以下のステータスになる。
[pgsql_4 (heartbeat::ocf:pgsql): Started dev-db01 (unmanaged) FAILED]

Resource Group: group_1
    drbddisk_1  (heartbeat:drbddisk):   Started dev-db-01
    Filesystem_2        (heartbeat::ocf:Filesystem):    Started dev-db01
    IPaddr_172_18_50_105        (heartbeat::ocf:IPaddr):        Started dev-db01
    pgsql_4     (heartbeat::ocf:pgsql): Started dev-db01 (unmanaged) FAILED
    MailTo_1    (heartbeat::ocf:MailTo):        Started dev-db01

Failed actions:
    pgsql_4_monitor_120000 (node=dev-db01, call=191, rc=7): complete

しかし,PostgreSQLを起動すると[FAILED],[Faield actions:]は消える。

Resource Group: group_1
    drbddisk_1  (heartbeat:drbddisk):   Started dev-db01
    Filesystem_2        (heartbeat::ocf:Filesystem):    Started dev-db01
    IPaddr_172_18_50_105        (heartbeat::ocf:IPaddr):        Started dev-db01
    pgsql_4     (heartbeat::ocf:pgsql): Started dev-db01 (unmanaged)
    MailTo_1    (heartbeat::ocf:MailTo):        Started dev-db01

※「(unmanaged)」は、「crm_resource -p is_managed -r pgsql_4 -t primitive -v on」を実行すると消える。

HeartBeat管理下から外した状態で、HeartBeatを停止することはできません。待ちの状態になりHeartbeat終了ができません。 そんなときは、管理下に戻す必要があります。【ON】

リソースのスイッチオーバ【Heart運用手順】

アクティブからスタンバイへ(強制フェールオーバ)
・アクティブサーバ上

# crm_standby -U `hostname` -v on

・フェールオーバを確認

# crm_mon
Defaulting to one-shot mode
You need to have curses available at compile time to enable console mode
============
Last updated: Fri Jul 15 12:45:56 2011
Current DC: dev-db01 (749e05b9-1610-44a6-9c01-dfd37fea7372)
2 Nodes configured.
1 Resources configured.
============

Node: dev-db01 (749e05b9-1610-44a6-9c01-dfd37fea7372): standby
Node: dev-db02 (81312dbc-9b48-444c-b669-203c84055c1f): online

Resource Group: group_1
    drbddisk_1  (heartbeat:drbddisk):   Started dev-db02
    Filesystem_2        (heartbeat::ocf:Filesystem):    Started dev-db02
    IPaddr_172_18_50_105        (heartbeat::ocf:IPaddr):        Started dev-db02
    pgsql_4     (heartbeat::ocf:pgsql): Started dev-db02
    MailTo_1    (heartbeat::ocf:MailTo):        Started dev-db02

・フェイルオーバしたことを確認後、スタンバイONをスタンバイOFFに戻す。

# crm_standby -U `hostname` -v off

・onlineになっていることを確認する

# crm_mon
　：　
省略
　：
Node: dev-db01 (749e05b9-1610-44a6-9c01-dfd37fea7372): online
Node: dev-db02 (81312dbc-9b48-444c-b669-203c84055c1f): online

Resource Group: group_1
    drbddisk_1  (heartbeat:drbddisk):   Started dev-db02
    Filesystem_2        (heartbeat::ocf:Filesystem):    Started dev-db02
    IPaddr_172_18_50_105        (heartbeat::ocf:IPaddr):        Started dev-db02
    pgsql_4     (heartbeat::ocf:pgsql): Started dev-db02
    MailTo_1    (heartbeat::ocf:MailTo):        Started dev-db02

※スタンバイ状態でサーバを再起動をするとHeartbeatが起動してこないので、手動で起動する必要があります。

障害発生後の後処理【Heart運用手順】

・障害リソースのクリーンアップ処理 ※障害リソースの原因究明し、問題解決した場合は以下のコマンドで障害履歴？を消す。
この作業をしないと次のフェイルオーバに失敗する。

# crm_resource -C -H `uname -n` -r pgsql_4

※「`uname -n`」は、 障害発生したサーバ名を指定する。
※「pgsql_4」は障害発生したリソース名
※crm_monを実行したときに下記のようなメッセージが消えれば、次回障害時に正常にフェイルオーバが発生する。

Failed actions:
pgsql_4_start_0 (node=dev-db01, call=75, rc=-2): Timed Out

HeartBeat2+DRBD構築【目次】

01.　HeartBeat2+DRBD構築　　【DRBD構築手順】
02.　HeartBeat2+DRBD構築　　【DRBDの起動と確認】
03.　HeartBeat2+DRBD構築　　【HeartBeat 基本設定】
04.　HeartBeat2+DRBD構築　　【HeartBeat リソース設定】
05.　HeartBeat2+DRBD構築　　【Heart運用手順】
06.　HeartBeat2+DRBD構築　　【DRBD障害対応】
07.　HeartBeat2+DRBD構築　　【DRBD構築時に発生したエラー】
08.　「HeartBeat+DRBD」の構築手順に役立つ書籍

HeartBeat2+DRBD構築 【HeartBeat リソース設定】

HeartBeat2 リソース設定

■リソース設定の前に行う作業

・heartBeatが起動している場合は、停止する。
・新規構築のため不要ファイルは削除する。
　（/var/lib/heartbeat/crm/cib.xml, cib.xml.si, cib.xml.last, cib.xml.sig.last）
・PostgreSQLが自動起動している場合は、OFFにする。
　(# chkconfig postgresql off)

■V1スタイルの設定ファイルを作成する
R2スタイルのcib.xmlを記述するのは、難しいので、R1スタイルの設定ファイルからR2スタイルのcib.xmlを作成します。
今回作成するリソースは以下の通りです。

　・DRBD
　・VIP
　・PostgreSQL

※DRBDとPostgresqlの設定ができていない場合は、下記を参照し構築してください。
　　HeartBeat2+DRBD構築　【DRBD構築手順】
　　PostgreSLQ構築手順は後ほど記述します。

・R1スタイルのリソース設定ファイルを作成する。
（プライマリサーバで実施し、セカンダリ起動時にcib.xmlは同期されます。）

# vi /etc/ha.d/haresources.tmp

dev-db01  drbddisk::db01 \
                Filesystem::/dev/drbd0::/db::ext3 \
                IPaddr::10.96.146.102/20/eth0 \
                pgsql

※/etc/ha.d/haresources.tmpは、cib.xmlファイルを作成するための一時ファイルです。
※drbdupperとdrbddiskについて
　・スタックリソースを管理する場合は、drbdupperを使用する。
　　3ノード構成では、1つのDRBDデバイスを別のデバイスの上にスタック(積み重ね)します
　・非スタックリソースを管理する場合は、drbddiskを使用する。
　　今回は単純な冗長化であるため非スタックリソースとなる。
※サービス名（pgsql）は サービスの起動スクリプト名を指定します。起動スクリプトは、以下の順で探します。

/etc/ha.d/resource.d
/etc/init.d

※起動スクリプトの要件
　heartbeatで利用するサービススクリプトは、

　サービスが停止中の場合には「stopped」
　サービスが稼動中の場合には「running」

を含む文字列を表示する必要があります。
※IPaddrとIPaddr2について

　・IPaddrは仮想IPの発生にifconfigを使い、ネットワークエイリアスとして生成する。
　・IPaddr2はiproute2を使い、副IPアドレスをifaceに直接付加する。

　※書式：IPaddr2 ip_addr[/netmask[/iface[:label][/bcast]]]
　※IPaddr2での仮想IPアドレスは、ifconfigコマンドで表示されないことがある。
確実に確認する方法は、以下のコマンドを実行する必要がある。

# ip addr show
1: lo:  mtu 16436 qdisc noqueue
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
    inet6 ::1/128 scope host
       valid_lft forever preferred_lft forever
2: eth0:  mtu 1500 qdisc pfifo_fast qlen 1000
    link/ether 00:50:56:b6:75:2a brd ff:ff:ff:ff:ff:ff
    inet 10.96.146.101/20 brd 10.96.159.255 scope global eth0
    inet6 fe80::250:56ff:feb6:752a/64 scope link
       valid_lft forever preferred_lft forever
3: eth1:  mtu 1500 qdisc pfifo_fast qlen 1000
    link/ether 00:50:56:b6:49:bd brd ff:ff:ff:ff:ff:ff
    inet 192.168.100.104/24 brd 192.168.100.255 scope global eth1
    inet6 fe80::250:56ff:feb6:49bd/64 scope link
       valid_lft forever preferred_lft forever
4: sit0:  mtu 1480 qdisc noop
    link/sit 0.0.0.0 brd 0.0.0.0

■V1スタイルの設定ファイルからV2スタイルの設定ファイル「cib.xml」へ変換
・変換ツールによりV2スタイルへ変換

# /usr/lib64/heartbeat/haresources2cib.py /etc/ha.d/haresources.tmp

・生成されたcib.xmlを修正する。
変換ツールのバグがあり、以下の2点を修正する。
　・name="nic"の値 　

　　修正前：name="nic" value="20"/　　修正後：name="nic" value="eth0"/ 　

　・name="cidr_netmask"の値 　

　　修正前：name="cidr_netmask" value="eth0"/ 　修正後：　name="cidr_netmask" value="20"/ 　

# vi /var/lib/heartbeat/crm/cib.xml

   <primitive class="ocf" id="IPaddr_10_96_146_102" provider="heartbeat" type="IPaddr">
            <operations>
                   <op id="IPaddr_10_96_146_102_mon" interval="5s" name="monitor" timeout="5s"/>
            </operations>
            <instance_attributes id="IPaddr_10_96_146_102_inst_attr">
                    <attributes>
                             <nvpair id="IPaddr_10_96_146_102_attr_0" name="ip" value="10.96.146.102"/>
                             <nvpair id="IPaddr_10_96_146_102_attr_1" name="nic" value="eth0"/>
                             <nvpair id="IPaddr_10_96_146_102_attr_2" name="cidr_netmask" value="20"/>
                     </attributes>
             </instance_attributes>
   </primitive>

・自動フェイルバックを無効としたい場合
name="default-resource-stickiness"の値でフェイルバックの制御ができる。通常は自動フェイルバックを無効にしたほうがいい。

　フェイルバック無効：value="INFINITY"
　フェイルバック有効：value="0"

# vi /var/lib/heartbeat/crm/cib.xml

 <nvpair id="cib-bootstrap-options-default-resource-stickiness" name="default-resource-stickiness" value="INFINITY"/>

※既にHeartBeatを起動している状態であれば、以下のコマンドでcib.xmlファイルを更新する。

# cibadmin -o crm_config -U -X '<nvpair id="cib-bootstrap-options-default-resource-stickiness" name="default-resource-stickiness" value="INFINITY"/>'

・サービス（リソース）障害が発生した場合の制御
サービスが落ちた時にLocalサーバ上で再起動するのを防ぐ場合は以下のようにします。

# vi /var/lib/heartbeat/crm/cib.xml

<nvpair id="cib-bootstrap-options-default-resource-failure-stickiness" name="default-resource-failure-stickiness" value="-INFINITY"/>

Localでの再起動無効：value="-INFINITY"
Localでの再起動有効：value="0"

・ファイル所有者の変更

# chown hacluster:haclient /var/lib/heartbeat/crm/cib.xml

・cib.xmlファイルの記述誤りの有無を確認

# crm_verify -x /var/lib/heartbeat/crm/cib.xml

※記述の誤りがある場合は、メッセージが表示される。表示されない場合は、記述誤りがないことを示す。
※セカンダリサーバは、リソース設定までの設定を行えば、Heartbeat起動時に自動でcib.xmlは配布される。

PostgreSQL+DRBDのリソース設定

■PostgreSQLの起動制御
・PostgreSQLの自動起動制御
両サーバでHeartBeatからPostgreSQLを起動させたいので、OS起動時に自動で起動しないようにする。

# chkconfig --del  postgresql

・起動スクリプトの修正(サンプルファイル：/usr/lib/ocf/resource.d/heartbeat/pgsql)
HeartBeatをRPMよりインストールした場合、サンプル起動スクリプトが用意されているので、それを元に修正する。

# vi /usr/lib/ocf/resource.d/heartbeat/pgsql 

: ${OCF_RESKEY_pgctl=/usr/bin/pg_ctl}
: ${OCF_RESKEY_psql=/usr/bin/psql}
: ${OCF_RESKEY_pgdata=/db/pgsql/data}
: ${OCF_RESKEY_pgdba=postgres}
: ${OCF_RESKEY_pgport=5432}
: ${OCF_RESKEY_pgdb=template1}
: ${OCF_RESKEY_logfile=/dev/null}
: ${OCF_RESKEY_stop_escalate=30}

※手動再起動用に/etc/init.d/postgresqlファイルも修正しておく
　・両サーバの起動スクリプトをPrimaryのみで起動するように修正する。
　・PGDATAの値も変更する

# vi /etc/init.d/postgresql

PGDATA=/db/pgsql/data
　　　：
　　　：
start(){
       #20100416 本番のみ
       H_LOCAL_STAT=`/usr/sbin/drbd-overview |awk '{print $3}'|awk -F/ '{print $1}'`
       if [ $H_LOCAL_STAT != Primary ]; then
           echo "Primaryではないため起動できません"
           exit 1

       fi
       #20100416 end

※DRBDのレプリケーション対象は、[/db]である。

HeartBeatの起動

プライマリ、セカンダリサーバでHearBeatの自動起動設定し、起動をする。

# chkconfig heartbeat on
# /etc/init.d/heartbeat start

HeartBeat2+DRBD構築【目次】

01.　HeartBeat2+DRBD構築　　【DRBD構築手順】
02.　HeartBeat2+DRBD構築　　【DRBDの起動と確認】
03.　HeartBeat2+DRBD構築　　【HeartBeat 基本設定】
04.　HeartBeat2+DRBD構築　　【HeartBeat リソース設定】
05.　HeartBeat2+DRBD構築　　【Heart運用手順】
06.　HeartBeat2+DRBD構築　　【DRBD障害対応】
07.　HeartBeat2+DRBD構築　　【DRBD構築時に発生したエラー】
08.　「HeartBeat+DRBD」の構築手順に役立つ書籍