インフラ構築手順書

はじめてのインフラ、サーバ構築時に役に立つように構築手順情報をまとめました。

HOME » VmwareESXi　RAC構築手順

[PR]

[PR]上記の広告は3ヶ月以上新規記事投稿のないブログに表示されています。新しい記事を書く事で広告が消えます。

ESXi上でRAC構築５【RAC構築の事前作業】

ESXi上でRACを構築する【RAC構築の事前作業】

ここでは、Grid Infrastructureをインストールする前に、実施すべき作業を説明する。

１．グループとユーザ作成

・ユーザとグループの作成
　※UIDとGIDは任意ですが、両サーバで統一する必要があります。

# groupadd -g 1000 dba
# groupadd -g 1001 oinstall
# useradd -u 1000 -g oinstall -G dba oracle
# useradd -u 1001 -g oinstall -G dba grid

・パスワードの設定

# passwd oracle
# passwd grid

※各々サーバへSSH接続する際には必須

２．ディレクトリの作成

# mkdir -p /u01/app/grid
# mkdir -p /u01/app/11.2.0/grid
# chown -R grid:oinstall /u01
# mkdir -p /u01/app/oracle
# chown oracle:oinstall /u01/app/oracle
# chmod -R 775 /u01

３．シェルの制限

・limits.confファイルの編集(追加)

# vi /etc/security/limits.conf
====
* soft nproc 2047
* hard nproc 16384
* soft nofile 1024
* hard nofile 65536
* hard stack 10240

・loginファイル編集

# vi /etc/pam.d/login
====
session required pam_limits.so

・デフォルトのシェル起動ファイルの編集

# vi /etc/profile
====
if [ $USER = "oracle" ]; then
if [ $SHELL = "/bin/ksh" ]; then
ulimit -p 16384
ulimit -n 65536
else
ulimit -u 16384 -n 65536
fi
fi

４．Oracleユーザの環境変数

# vi ~oracle/.bash_profile
umask 022

５．カーネルの設定/変更

※下記のパラメータ値より大きい場合は変更する必要はありません。

# vi /etc/sysctl.conf
====
kernel.shmall = 2097152
kernel.shmmax = 536870912
kernel.shmmni = 4096
kernel.sem = 250 32000 100 128
fs.aio-max-nr = 1048576
fs.file-max = 6815744
net.ipv4.ip_local_port_range = 9000 65500
net.core.rmem_default = 262144
net.core.rmem_max = 4194304
net.core.wmem_default = 262144
net.core.wmem_max = 1048586

・sysctl設定反映

# sysctl -p

６．名前解決のためHostファイル変更

　DNSサーバかHostsファイルのどちらかに各サーバのIPを登録する必要があるが、ここではHostsファイルで管理することを前提とする。

# vi /etc/hosts
====
10.96.146.165 rac-server01 rac-server01.localdomain
10.96.146.166 rac-server02 rac-server02.localdomain
10.96.146.167 rac-server01-vip rac-server01-vip.localdomain
10.96.146.168 rac-server02-vip rac-server02-vip.localdomain
10.96.146.169 scan-vip01 scan-vip01.localdomain

192.168.2.165 rac-server01-pri rac-server01-pri.localdomain
192.168.2.166 rac-server02-pri rac-server02-pri.localdomain

７．時刻同期NTPD

・slewモードとする。
　slewモードは、システムの時間の進み方を調整（遅くしたり早くしたり）して徐々に時刻を合わせる。

# vi /etc/sysconfig/ntpd
====
# 修正後
OPTIONS="-x -u ntp:ntp -p /var/run/ntpd.pid"

・NTPD設定反映

# /etc/nit.d/ntpd stop
# ntpdate -b 130.69.251.23;hwclock --systohc
# /etc/init.d/ntpd start

８．Rawデバイス

・パーティション作成の事前確認

# fdisk -l
Disk /dev/sdb: 1073 MB, 1073741824 bytes
255 heads, 63 sectors/track, 130 cylinders
Units = シリンダ数 of 16065 * 512 = 8225280 bytes

ディスク /dev/sdb は正常な領域テーブルを含んでいません

※「ディスク /dev/xxx は正常な領域テーブルを含んでいません」メッセージの/dev/xxxデバイスが対象となる。

・新規パーティション作成

# fdisk /sdb
<省略>
コマンド (m でヘルプ): n
コマンドアクション
e 拡張
p 基本領域 (1-4)
p
領域番号 (1-4): 1
最初シリンダ (1-204, default 1):
Using default value 1
終点シリンダまたは +サイズまたは +サイズM または +サイズK (1-204, default 204):
Using default value 204

コマンド (m でヘルプ): w
領域テーブルは交換されました！

※割り当てたデバイスすべてにパーティションを作成する

・rawdevice設定

# vi /etc/sysconfig/rawdevices
====
/dev/raw/raw1 /dev/sdb1
/dev/raw/raw2 /dev/sdc1
/dev/raw/raw3 /dev/sdd1

・RAWデバイスの設定反映

# service rawdevices restart

・RAWデバイスのパーミッション設定(udev)

# vi /etc/udev/rules.d/65-raw-permissions.rules
====
# OCR&投票ディスク用
ACTION=="add",KERNEL=="sdb1", RUN+="/bin/raw /dev/raw/raw1 %N"
ACTION=="add",KERNEL=="sdc1", RUN+="/bin/raw /dev/raw/raw2 %N"
ACTION=="add",KERNEL=="sdd1", RUN+="/bin/raw /dev/raw/raw3 %N"

#SYSTEM,SYSAUX,UNDO,TEMP,ユーザ領域等
ACTION=="add",KERNEL=="sde1", RUN+="/bin/raw /dev/raw/raw21 %N"
ACTION=="add",KERNEL=="sdf1", RUN+="/bin/raw /dev/raw/raw22 %N"
ACTION=="add",KERNEL=="sdg1", RUN+="/bin/raw /dev/raw/raw23 %N"
ACTION=="add",KERNEL=="sdh1", RUN+="/bin/raw /dev/raw/raw24 %N"
ACTION=="add",KERNEL=="sdi1", RUN+="/bin/raw /dev/raw/raw25 %N"

#Redolog(1),制御ファイル
ACTION=="add",KERNEL=="sdj1", RUN+="/bin/raw /dev/raw/raw41 %N"
#Redolog(2),制御ファイル(冗長)
ACTION=="add",KERNEL=="sdk1", RUN+="/bin/raw /dev/raw/raw42 %N"

#アーカイブログ用
ACTION=="add",KERNEL=="sdl1", RUN+="/bin/raw /dev/raw/raw11 %N"
ACTION=="add",KERNEL=="sdm1", RUN+="/bin/raw /dev/raw/raw12 %N"

#フラッシュリカバリ領域
ACTION=="add",KERNEL=="sdn1", RUN+="/bin/raw /dev/raw/raw31 %N"

# OCR&投票ディスク用
KERNEL=="raw1", OWNER="grid", GROUP="oinstall", MODE="660"
KERNEL=="raw2", OWNER="grid", GROUP="oinstall", MODE="660"
KERNEL=="raw3", OWNER="grid", GROUP="oinstall", MODE="660"

#SYSTEM,SYSAUX,UNDO,TEMP,ユーザ領域等
KERNEL=="raw21", OWNER="grid", GROUP="oinstall", MODE="660"
KERNEL=="raw22", OWNER="grid", GROUP="oinstall", MODE="660"
KERNEL=="raw23", OWNER="grid", GROUP="oinstall", MODE="660"
KERNEL=="raw24", OWNER="grid", GROUP="oinstall", MODE="660"
KERNEL=="raw25", OWNER="grid", GROUP="oinstall", MODE="660"

#Redolog(1),制御ファイル
KERNEL=="raw41", OWNER="grid", GROUP="oinstall", MODE="660"
#Redolog(2),制御ファイル(冗長)
KERNEL=="raw42", OWNER="grid", GROUP="oinstall", MODE="660"

#アーカイブログ用
KERNEL=="raw11", OWNER="grid", GROUP="oinstall", MODE="660"
KERNEL=="raw12", OWNER="grid", GROUP="oinstall", MODE="660"

#フラッシュリカバリ領域
KERNEL=="raw31", OWNER="grid", GROUP="oinstall", MODE="660"

再起動してパーミッションが設定されていることを確認する

# ls -al /dev/raw/*
# raw -qa
/dev/raw/raw1: bound to major 8, minor 17
/dev/raw/raw2: bound to major 8, minor 33
/dev/raw/raw3: bound to major 8, minor 49

9．関連パッケージのインストール

・cvuqdisk
　※３つめのディスク（p10404530_112030_Linux-x86-64_3of7.zip）

# unzip /media/p10404530_112030_Linux-x86-64_3of7.zip
# cd grid/rpm
# rpm -ivh cvuqdisk-1.0.9-1.rpm

・その他

# yum install libaio-devel
# yum install compat-libstdc++-33.x86_64
# yum install numactl-devel
# yum install sysstat
# yum install pdksh.x86_64

ESXi上でRACを構築する手順一覧

おすすめ関連書籍

[VMware徹底入門第3版 VMware vSphere 5.1対応]のEC横断比較とレビュー

VMware徹底入門第3版 VMware vSphere 5.1対応
著者：ヴイエムウェア株式会社
出版日：2012-11-13
出版社：翔泳社

VMware vSphere 構築・運用レシピ
著者：工藤真臣
出版日：2012-11-15
出版社：インプレスジャパン

[Oracle Database 11g Release 2 RAC実践ガイド基礎から学ぶRAC構築･管理]のEC横断比較とレビュー

Oracle Database 11g Release 2 RAC実践ガイド基礎から学ぶRAC構築･管理
著者：日本オラクル株式会社編著
出版日：2010-09-01
出版社：アスキー・メディアワークス

[即戦力のOracle管理術 ~仕組みからわかる効率的管理のノウハウ]のEC横断比較とレビュー

即戦力のOracle管理術 ~仕組みからわかる効率的管理のノウハウ
著者：内村友亮
出版日：2012-06-05
出版社：技術評論社

[0回]

ESXi上でRAC構築７【Grid Infrastructureのインストール】

ESXi上でRACを構築する【Grid Infrastructureのインストール】

ここでは、「Grid Infrastructure」のインストール手順を説明します。

０．事前作業

■「Grid Infrastructureのインストールファイル」の解凍
　任意の場所で解凍する（ここでは、[/usr/local/oracle/]とする）
※「Grid Infrastructureのインストールメディア」（p10404530_112030_Linux-x86-64_3of7.zip）

# cd /usr/local/src/oracle
# unzip p10404530_112030_Linux-x86-64_3of7.zip

■X飛ばしの準備
　・クライアントPC上でXサーバを立ち上げる（フリーソフト：Xming）
　・rootでSSHログインをしている場合は、下記の手順を行う（gridユーザでアクセスしている場合は不要）
　

# env|grep DISPLAY
DISPLAY=localhost:10.0
# xauth extract /tmp/xauth_grid unix:10.0
# chmod 644 /tmp/xauth_grid
# sudo -H -u grid xauth merge /tmp/xauth_grid

※DISPLAY環境変数のディスプレイ番号.スクリーン番号（上記では「10.0」）とunix:xxの「x.x」を同じ値にする

※2012年5月17日加筆
CgywinなどのフリーのXサーバをクライアントPCで起動する。

１．「Grid Infrastructure」のインストール

ここでは、X飛ばしで「Grid Infrastructure」をインストールする手順を示します。
■「Grid Infrastructure」のインストーラー実行(gridユーザ)
　・rootユーザでログインしている場合

# cd /usr/local/src/oracle/grid/
# sudo su -c "./runInstaller" grid

　・gridユーザでログインしている場合

$ cd /usr/local/oracle/grid/
$ ./runInstaller

■Software Updateのダウンロード
　「ソフトウェア更新のスキップ」にチェックし、「次へ」をクリックする

■インストール・オプションの選択
　「クラスタ用のOracle Grid Infrastructureのインストールおよび構成」にチェックし、「次へ」をクリックする

■インストールタイプの選択
　「拡張インストール」にチェックし、「次へ」をクリックする

■製品言語の選択
　「日本語」と「英語」を選択し、「次へ」をクリックする

■Gridプラグ・アンド・プレイの選択
　クラスタ名「rac-cluser」、SCAN名「scan-vip01」、SCANポート「1521」とし、「GNSの構成」のチェックを外し、「次へ」をクリックする
　※SCAN名は、hostsファイルまたはDNSに登録して名前解決できること。

■クラスタ・ノードの情報
　※事前に両ノードのgridユーザにパスワードを設定しておくこと。
　「追加」をクリックし、ダイアログが立ち上がる。
　ダイアログに２台目のRACサーバ情報(パブリック・ホスト名:rac-server02,仮想ホスト名:rac-server02-vip)を入力し、「OK」をクリックする。

　「クラスタ・ノード情報」画面に戻り、「SSH接続」をクリックすると入力フィールドが表示されるので、gridユーザのパスワードを入力し、「設定」をクリックする

　「選択されたノード間でパスワード不要のSSH接続の確立に成功しました」というメッセージがでたら、「OK」をクリックする。
　
　「クラスタ・ノード情報」画面に戻り、「次へ」をクリックする

■ネットワーク・インターフェースの使用方法の指定
　今回の環境では、パブリックインターフェースは「eth0」、プライベートインターフェースは「eth1」を使用するので、そのようになっているかを確認した上で、「次へ」をクリックする。

■記憶域オプションの情報
　「Oracle自動ストレージ管理（Oracle ASM）」にチェックし、「次へ」をクリック

■ASMディスク・グループの作成
　この画面では、OCRおよび投票ディスクを格納するASMディスク・グループを作成する。
　下記の情報を入力し、「次へ」をクリック

　・ディスク・グループ名：CL01DG
　・冗長性：外部
　・AUサイズ：４MB
　・OCRおよび投票ディスク用のディスク： RAW1,RAW2,RAW3

※その他のディスク・グループは後ほど作成する。

■ASMパスワードの指定
　SYSとASMSNMPのパスワードを入力し、「次へ」をクリック

　※簡単なパスワードの場合、警告がでますが、そのまま「はい」をクリックし処理を進めることができます。

■障害の分離のサポート
　「Intelligent Platform Managerment Interface(IPMI)を使用しない」にチェックし、「次へ」をクリック

■権限付きオペレーティング・システム・グループ
　「Oracle ASM DBA(ASM OSDBA)グループ」、「Oracle ASM オペレータ(ASMのOSOPER)グループ」、「Oracle ASM管理者(OSASM)グループ」のOS認証するグループを設定し、「次へ」をクリック

　※同じグループを設定した場合は、警告メッセージがでるが、そのまま「はい」をクリックし、処理を進める。

■インストール場所の指定
　「Oracleベース」の場所とソフトウェアの場所を指定し、「次へ」をクリック

■インベントリの作成
　「インベントリ・ディレクトリ」を指定し、「次へ」をクリック

■前提条件チェックの実行
　前提条件チェックで警告、失敗ステータスがある場合は、その内容を確認し、対応した上で再度、「再チェック」をクリックする

　※「修正可能」列に「はい」と表示されている検証項目に対して修正スクリプト(runfixup.sh)による値の修正ができます。
　「修正および再チェック」をクリックすると「修正スクリプトの実行」画面が表示されます。
　　スクリプト実行後、再度「再チェック」を実施する。

■サマリー
　サマリー内容を確認の上、「インストール」をクリック

■製品のインストール
「製品のインストール」画面で、「rootスクリプトの実行」まで進むと、「構成スクリプト」ダイアログが立ち上がる。

「構成スクリプト」ダイアログの指示に従い、インストーラーを実行しているノードから構成スクリプトを実施する。

# /u01/app/oraInventory/orainstRoot.sh
　：
スクリプトの実行が完了しました。

# /u01/app/11.2.0/grid/root.sh
　：
Configure Oracle Grid Infrastructure for a Cluster ... succeeded

※すべてのノードで実施する。
すべてノードで構成スクリプトを実行したら、「構成スクリプト」ダイアログに戻り、「OK」をクリック

「Oracle Cluster Verificationユーティリティに失敗しました」というダイアログがでたら、「詳細」をクリックし、ログの在り処を確認する。

※エラー内容が下記であれば、HOSTSファイルで名前解決をしているので問題ありません。上記ダイアログの「OK」をクリック

情報: "scan-vip01"の名前解決の設定をチェック中...
情報: ERROR:
情報: PRVG-1101 : SCAN名"scan-vip01"の解決に失敗しました
情報: ERROR:
情報: PRVF-4657 : "scan-vip01"の名前解決の設定チェック(IPアドレス: 10.xx.146.xxx)に失敗しました
情報: ERROR:
情報: PRVF-4664 : SCAN名"scan-vip01"に対して一貫性のない名前解決エントリが検出されました
情報: SCAN VIPおよびリスナー設定の検証に失敗しました

　
「製品のインストール」画面に戻り、　「スキップ」をクリックし、「次へ」をクリック

※「一部のConfiguration Assistantで失敗しました。」というメッセージがでるが、上記エラー内容であるため「はい」をクリック

■終了
「閉じる」をクリックし、「Grid Infrastructure」のインストールを完了する。

ESXi上でRACを構築する手順一覧

おすすめ関連書籍

VMware徹底入門第3版 VMware vSphere 5.1対応
著者：ヴイエムウェア株式会社
出版日：2012-11-13
出版社：翔泳社

VMware vSphere 構築・運用レシピ
著者：工藤真臣
出版日：2012-11-15
出版社：インプレスジャパン

即戦力のOracle管理術 ~仕組みからわかる効率的管理のノウハウ
著者：内村友亮
出版日：2012-06-05
出版社：技術評論社

[1回]

ESXi上でRAC構築８【ASMディスクグループ作成】

ESXi上でRACを構築する【ASMディスクグループ作成】

ここでは、ASMCAによるASMディスクグループの作成手順を示します。
※ここの作業は必須ではありませんが、今回構築する環境では、下記のASMディスクグループを作成します。

・OCR＆投票ディスク用(GridInfrastructureインストール時に作成済み)
　グループ名：CL01DG（RAW１～２）
・DBデータ用
　グループ名：DB01DG（RAW21~25）
・Redoログ、制御ファイル用
　グループ名：RD01DG（RAW41）　グループ名：RD02DG（RAW42）　　
・アーカイブログ用
　グループ名：AR01DG（RAW11~12）
・フラッシュリカバリ用
　グループ名：FRA01DG（RAW31）

０．事前作業

# env|grep DISPLAY
DISPLAY=localhost:10.0
# xauth extract /tmp/xauth_oracle unix:10.0
# chmod 644 /tmp/xauth_grid
# sudo -H -u grid xauth merge /tmp/xauth_grid

１．ASMグループディスクの作成

■ASMCAの起動(gridユーザ)
　・rootユーザでログインしている場合

# sudo su -c "/u01/app/11.2.0/grid/bin//asmca" grid

　・oracleユーザでログインしている場合

$ /u01/app/11.2.0/grid/bin/asmca

■ASMCA起動画面
　起動後、「ディスク・グループ」タブには、既存のディスク・グループが表示されている。
　新規にディスクグループを作成するには、「作成」をクリック

■ディスク・グループのディスクパス指定
　DBデータを格納するASMディスク・グループを作成する。
　「拡張オプションの表示」をクリックし、ディスク・グループ属性を表示させる。
　下記の情報を入力し、「次へ」をクリック

　・ディスク・グループ名：DB01DG
　・冗長性：外部
　・AUサイズ：４MB
　・DBデータ用のディスク： RAW21~RAW25

※「ディスク・グループDB01DGは正常に作成されました。」というメッセージがでるので、「OK」をクリック

　同様に他のディスク･グループを作成する。

■ディスク・グループ作成完了
　すべてのディスク・グループの作成が完了したら、「終了」をクリック
　※「このアプリケーションを終了しますか」というメッセージがでるので、「はい」をクリック

ESXi上でRACを構築する手順一覧