프린트 하기

OS환경 : Oracle Linux 7.6 (64bit)

 

DB 환경 : Oracle Database 19.3.0.0

 

방법 : Oracle Linux 7.6에 Oracle 19c RAC 설치 가이드_Part 1

OS 설치는 아래 게시물 참조

Oracle linux 7.6 설치 가이드(https://positivemh.tistory.com/521)

변경해야함
 
1번 노드 hostname : oel19db1
2번 노드 hostname : oel19db2

 

*본문에 2번노드 표시가 없으면 모두 1번노드에서 작업

 

 

하드웨어 설정

Oracle Linux 7.6 설치 가이드를 보고 설치한 경우
OEL7.6 폴더에 설치했을텐데
19c_rac라는 폴더를 하나 만들어서 그안에 폴더를 통째로 이동시켜줌
OEL7.6 폴더는 oel19db1로 폴더명을 변경시켜줌
19c_rac 폴더에 아래와 같이 storage 라는 폴더도 생성해줌(공유 경로로 사용예정)

 

 

작업 전 디스크 및 Network Adapter 추가

 

 

Hard Disk 선택

 

 

SCSI 선택

 

 

Create a new virtual disk 선택

 

 

30GB 후 Store virtual disk as a single file 선택(Allocate all disk space now 선택)

 

 

추가 디스크 위치 선택

storage 라는 폴더를 만들어서 그 경로에 생성(공유경로로 사용예정)

 

 

추가된 디스크 선택 후 Advanced 선택

 

 

SCSI 1:0 으로 선택 후 OK

 

 

네트워크 어댑터 추가를 위해 Add

 

 

Network Adapter 선택

 

 

Host_only 선택

 

 

디스크와 네트워크 추가된 모습 확인

 

 

 

vmware 종료 후 D:\01.Oracle\03.vmware\19c_rac\oel19db1.vmx 메모장으로 열기

제일 밑에 아래 내용 추가

1
2
3
4
disk.locking = "FALSE"
diskLib.dataCacheMaxSize = "0"
scsi1.sharedBus = "virtual"
scsi1:0.deviceType = "disk"

 

 

OS 설정

노드1 OS 기동 후

/etc/hostname 확인

1
2
# cat /etc/hostname
oel19db1

 

 

기존에 다른 hostname이라면 hostname 변경 후 재기동

1
2
# hostnamectl set-hostname oel19db1
# reboot

 

 

Network 설정

1
2
3
4
5
6
7
8
9
10
Public network(ens32)
IP/Netmask/GW
192.168.137.10/255.255.255.0/192.168.137.2 --노드1
192.168.137.20/255.255.255.0/192.168.137.2 --노드2
DNS 168.126.63.1
 
Private network
IP/Netmask/GW(ens35)
10.10.10.10/255.255.255.0 --노드1
10.10.10.20/255.255.255.0 --노드2
 
 

확인

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
# ifconfig
ens32: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.137.10  netmask 255.255.255.0  broadcast 192.168.137.255
        inet6 fe80::20c:29ff:fed3:6d16  prefixlen 64  scopeid 0x20<link>
        ether 00:0c:29:d3:6d:16  txqueuelen 1000  (Ethernet)
        RX packets 2830  bytes 243429 (237.7 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 72  bytes 10577 (10.3 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
 
ens35: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 10.10.10.10  netmask 255.255.255.0  broadcast 10.10.10.255
        inet6 fe80::20c:29ff:fed3:6d20  prefixlen 64  scopeid 0x20<link>
        ether 00:0c:29:d3:6d:20  txqueuelen 1000  (Ethernet)
        RX packets 0  bytes 0 (0.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 33  bytes 4498 (4.3 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

 

 

/etc/hosts 설정, 아래 내용 추가 후 저장

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
##Public
192.168.137.10 oel19db1
192.168.137.20 oel19db2
 
##Private
10.10.10.10 oel19db1-priv
10.10.10.20 oel19db2-priv
 
##Virtual 
192.168.137.100 oel19db1-vip
192.168.137.200 oel19db2-vip
 
##SCAN
192.168.137.150 oel19db-scan

 

 

오라클 설치 전 사전 설정

자동 설정

1
# yum install -y oracle-database-preinstall-19c

 

 

자동 설정 후 수동설정 파일 확인필요

 

/etc/sysctl.conf에 아래 내용 추가

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
# vi /etc/sysctl.conf
fs.file-max = 6815744
kernel.sem = 250 32000 100 128
kernel.shmmni = 4096
kernel.shmall = 1073741824
kernel.shmmax = 4398046511104
kernel.panic_on_oops = 1
net.core.rmem_default = 262144
net.core.rmem_max = 4194304
net.core.wmem_default = 262144
net.core.wmem_max = 1048576
net.ipv4.conf.all.rp_filter = 2
net.ipv4.conf.default.rp_filter = 2
fs.aio-max-nr = 1048576
net.ipv4.ip_local_port_range = 9000 65500

 

 

잘 입력되었는지 확인

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
/sbin/sysctl -p
fs.file-max = 6815744
kernel.sem = 250 32000 100 128
kernel.shmmni = 4096
kernel.shmall = 1073741824
kernel.shmmax = 4398046511104
kernel.panic_on_oops = 1
net.core.rmem_default = 262144
net.core.rmem_max = 4194304
net.core.wmem_default = 262144
net.core.wmem_max = 1048576
net.ipv4.conf.all.rp_filter = 2
net.ipv4.conf.default.rp_filter = 2
fs.aio-max-nr = 1048576
net.ipv4.ip_local_port_range = 9000 65500

 

 

아래 파일 생성 후 내용 추가

1
2
3
4
5
6
7
8
9
# vi /etc/security/limits.d/oracle-database-preinstall-19c.conf
oracle   soft   nofile    1024
oracle   hard   nofile    65536
oracle   soft   nproc    16384
oracle   hard   nproc    16384
oracle   soft   stack    10240
oracle   hard   stack    32768
oracle   hard   memlock    134217728
oracle   soft   memlock    134217728

 

 

유저 및 그룹 생성(수동 생성시)

1
2
# groupadd dba
# useradd -g dba -G dba oracle

 

유저 및 그룹 수정(자동 생성시)

1
# usermod -g dba -G dba oracle 

 

 

패스워드 설정

1
# passwd oracle

 

 

selinux disable 설정

1
2
# vi /etc/selinux/config
SELINUX=disabled

 

 

불필요한 서비스 정지

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
#
systemctl stop firewalld
systemctl disable firewalld
 
systemctl stop bluetooth
systemctl disable bluetooth
 
systemctl stop chronyd
systemctl disable chronyd
mv /etc/chrony.conf /etc/chrony.conf.bak
 
systemctl stop ntpdate
systemctl disable ntpdate
 
systemctl stop avahi-daemon.socket
systemctl disable avahi-daemon.socket
 
systemctl stop avahi-daemon
systemctl disable avahi-daemon
 
systemctl stop libvirtd
systemctl disable libvirtd

 

 

rpm 설치

1
2
3
4
# cd /run/media/root/OL-7.6\ Server.x86_64/Packages/
# rpm -ivh ksh-*.x86_64.rpm
# rpm -ivh libaio-devel-*.x86_64.rpm
# rpm -ivh oracleasm-support-*.x86_64.rpm

 

 

파일 다운로드 후 rpm 설치, yum으로도 설치가능

https://www.oracle.com/linux/downloads/linux-asmlib-rhel7-downloads.html

 

1
2
# rpm -ivh oracleasmlib-*.x86_64.rpm
# yum install -y oracleasmlib-*.x86_64.rpm

 

 

 

Temp 파일시스템 할당

1
2
# vi /etc/fstab
tmpfs                   /dev/shm                 tmpfs   size=4g         0 0

추가 후 저장

 

 

/dev/shm 영역 remount

1
# mount -o remount /dev/shm

 

 

추가 후 확인

1
2
3
# df -h
Filesystem                Size  Used Avail Use% Mounted on
tmpfs                     4.0G     0  4.0G   0/dev/shm

 

 

추가한 디스크 확인(/de/sdb 30GB)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
# fdisk -l
Disk /dev/sda: 42.9 GB, 42949672960 bytes, 83886080 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk label type: dos
Disk identifier: 0x000c5ade
 
   Device Boot      Start         End      Blocks   Id  System
/dev/sda1   *        2048     2099199     1048576   83  Linux
/dev/sda2         2099200    83886079    40893440   8e  Linux LVM
 
Disk /dev/sdb: 32.2 GB, 32212254720 bytes, 62914560 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes

 

 

디스크 포맷(n --> p --> 1 --> Enter --> Enter --> w)

 

1
# fdisk /dev/sdb

 

 

확인

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
# fdisk -l
Disk /dev/sda: 42.9 GB, 42949672960 bytes, 83886080 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk label type: dos
Disk identifier: 0x000c5ade
 
   Device Boot      Start         End      Blocks   Id  System
/dev/sda1   *        2048     2099199     1048576   83  Linux
/dev/sda2         2099200    83886079    40893440   8e  Linux LVM
 
Disk /dev/sdb: 32.2 GB, 32212254720 bytes, 62914560 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk label type: dos
Disk identifier: 0x112cbdc2
 
   Device Boot      Start         End      Blocks   Id  System
/dev/sdb1            2048    62914559    31456256   83  Linux

 

 

Pv Lv 생성

1
2
3
4
5
6
7
#
pvcreate /dev/sdb1
vgcreate 19c /dev/sdb1
lvcreate -L 1g -n ocr_vote1 19c
lvcreate -L 1g -n ocr_vote2 19c
lvcreate -L 1g -n ocr_vote3 19c
lvcreate -L 20G -n DATA 19c

 

 

Oracle ASM 설정 및 시작(oracle, dba, y, y 순서대로 입력)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
# oracleasm configure -i
Configuring the Oracle ASM library driver.
 
This will configure the on-boot properties of the Oracle ASM library
driver.  The following questions will determine whether the driver is
loaded on boot and what permissions it will have.  The current values
will be shown in brackets ('[]').  Hitting <ENTER> without typing an
answer will keep that current value.  Ctrl-C will abort.
 
Default user to own the driver interface []: oracle
Default group to own the driver interface []: dba
Start Oracle ASM library driver on boot (y/n) [n]: y
Scan for Oracle ASM disks on boot (y/n) [y]: y
Writing Oracle ASM library driver configuration: done

 

 

아래 명령시 /dev/oracleasm 디렉토리가 만들어지고, oracleasm/disks에 라벨링된 디스크가 저장됨

 
1
2
3
4
5
# oracleasm init
Creating /dev/oracleasm mount point: /dev/oracleasm
Loading module "oracleasm": oracleasm
Configuring "oracleasm" to use device physical block size
oracleasm status

 

 

상태 확인

1
2
3
4
5
6
7
8
9
10
11
12
13
14
# oracleasm status
Checking if ASM is loaded: yes
Checking if /dev/oracleasm is mounted: yes
oracleasm configure
 
# oracleasm configure
ORACLEASM_ENABLED=true
ORACLEASM_UID=oracle
ORACLEASM_GID=dba
ORACLEASM_SCANBOOT=true
ORACLEASM_SCANORDER=""
ORACLEASM_SCANEXCLUDE=""
ORACLEASM_SCAN_DIRECTORIES=""
ORACLEASM_USE_LOGICAL_BLOCK_SIZE="false"

 

 

공유 디스크 생성

1
2
3
4
5
#
oracleasm createdisk ocr_vote1 /dev/19c/ocr_vote1
oracleasm createdisk ocr_vote2 /dev/19c/ocr_vote2
oracleasm createdisk ocr_vote3 /dev/19c/ocr_vote3
oracleasm createdisk DATA01 /dev/19c/DATA

 

 

디스크 스캔

1
/etc/init.d/oracleasm scandisks

 

 

생성 리스트 확인(4개가 나와야 정상)

1
2
3
4
5
# oracleasm listdisks
DATA01
OCR_VOTE1
OCR_VOTE2
OCR_VOTE3

 

 

디렉토리 생성 및 권한부여 

1
2
3
4
5
6
7
8
9
10
11
#
mkdir -/ORA19/media
mkdir -/ORA19/app/oracle/product/19.3.0/db_1 
mkdir -/ORA19/app/grid/19.3.0
mkdir -/ORA19/oracle/oraInventory
mkdir -/ora_arch
chown -R oracle:dba /ORA19
chmod -775 /ORA19
chown -R oracle:dba /ora_arch
chown -R oracle:dba /dev/oracleasm
chown -R oracle:dba /dev/19c

 

 

/ORA19/media 경로에 업로드

1
2
LINUX.X64_193000_grid_home.zip
Oracle Database 19.3.0.0.0 for Linux x86-64(V982063-01).zip

 

 

오라클 계정 설정 

추가 후 저장

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
# su - oracle
$ vi .bash_profile
export TMP=/tmp;
export TMPDIR=$TMP;
export ORACLE_BASE=/ORA19/app/oracle;
export ORACLE_HOME=$ORACLE_BASE/product/19.3.0/db_1;
export ORACLE_SID=ORADB1;
export GRID_HOME=/ORA19/app/grid/19.3.0;
export GRID_SID=+ASM1;
export PATH=$ORACLE_HOME/bin:$GRID_HOME/bin:$PATH
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib;
export CLASSPATH=$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib;
export DISPLAY=192.168.137.1:0.0;
 
alias grid='export ORACLE_HOME=$GRID_HOME; export ORACLE_SID=$GRID_SID; export PATH=$ORACLE_HOME/bin:$GRID_HOME/bin:$PATH; echo $ORACLE_SID; echo $ORACLE_HOME'
alias db='. ~oracle/.bash_profile;export PATH=$ORACLE_HOME/bin:$GRID_HOME/bin:$PATH; echo $ORACLE_SID;echo $ORACLE_HOME'
alias oh='cd $ORACLE_HOME;pwd'
alias ss='sqlplus / as sysdba'

 

 

추가 후 적용

 

1
$ . ./.bash_profile

 

 

※ 여기까지 1번 노드 세팅 완료

 

2번노드 생성(복사)

1번노드 종료 후 노드1 폴더 자체를 복사

 

 

복사한 oel19db1(노드1) -복사본을 oel19db2(노드2)로 변경

 

 

oel19db2 폴더로 들어간 뒤 vmx 파일 실행

 

 

oel19db2의 vmx파일을 열어서 나온 vm에 Edit virtual machine settings 선택

 

 

Network Adapter NAT 선택 후 Advanced 선택

 

 

Generate 선택(MAC Address가 변경됨) 후 OK

 

 

Network Adapter2 Host-only 선택 후 Advanced 선택

 

 

Generate 선택(MAC Address가 변경됨) 후 OK

 

 

Options 에서 Virtual machine name을 oel19db1에서 oel19db2로 변경

 

 

2번노드 oel19db2 OS 기동

 

 

I copied it 선택

 

 

기동 후 root 로 로그인

 

 

터미널 실행

 

 

2번 노드 아이피 변경, 아이피 제일 뒤 10을 20으로 변경

1
2
3
4
5
6
7
ens32
# vi /etc/sysconfig/network-scripts/ifcfg-ens32
192.138.137.10 -> 192.138.137.20
 
ens35
# vi /etc/sysconfig/network-scripts/ifcfg-ens35
10.10.10.10 -> 10.10.10.20

 

 

아이피 변경 후 적용 및 확인

1
2
# service network restart
# ifconfig -a

 

 

hostnamectl 명령으로 hostname 변경 oel19db1-> oel19db2 후 재기동

1
2
# hostnamectl set-hostname oel19db2
# reboot

 

 

1번노드, 2번노드 모두 OS 기동 후 ping TEST

1
2
3
4
5
6
7
1번 노드(2번노드의 ip로 ping 시도)
# ping oel19db2
# ping oel19db2-priv
 
2번 노드(1번노드의 ip로 ping 시도)
# ping oel19db1
# ping oel19db1-priv

 

 

2번노드 오라클 계정 설정(아래 2가지만 1에서 2로 변경)

 

1
2
3
4
# su - oracle
$ vi .bash_profile
export ORACLE_SID=ORADB2;
export GRID_SID=+ASM2;

 

 

 

적용

1
$ . ./.bash_profile

 

 

grid 설치

node1 에서 작업, 설치파일 복사

1
2
3
4
# chown oracle:dba /ORA19/media/*
# su - oracle
$ cp -av /ORA19/media/LINUX.X64_193000_grid_home.zip $GRID_HOME/
$ cp -av /ORA19/media/LINUX.X64_193000_db_home.zip $ORACLE_HOME/

 

 

압축 해제

1
2
$ cd $GRID_HOME
$ unzip LINUX.X64_193000_grid_home.zip

 

 

rpm 설치(root 계정)

1
# rpm -ivh /ORA19/app/grid/19.3.0/cv/rpm/cvuqdisk-1.0.10-1.rpm

 

 

node2에도 rpm 설치(root 계정)

1
2
3
4
5
1번 노드
# scp /ORA19/app/grid/19.3.0/cv/rpm/cvuqdisk-1.0.10-1.rpm root@192.168.137.20:/ORA19/media
 
2번 노드
# rpm -ivh /ORA19/media/cvuqdisk-1.0.10-1.rpm

 

 

ssh 수동 설정(

yes, 패스워드 입력)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
# su - oracle 
$ cd $GRID_HOME/oui/prov/resources/scripts
$ ./sshUserSetup.sh -user oracle -hosts "oel19db1 oel19db2" -noPromptPassphrase -advanced
The output of this script is also logged into /tmp/sshUserSetup_2020-03-04-03-55-30.log
Hosts are oel19db1 oel19db2
user is oracle
Platform:- Linux 
Checking if the remote hosts are reachable
PING oel19db1 (192.168.137.1056(84) bytes of data.
64 bytes from oel19db1 (192.168.137.10): icmp_seq=1 ttl=64 time=0.033 ms
64 bytes from oel19db1 (192.168.137.10): icmp_seq=2 ttl=64 time=0.041 ms
64 bytes from oel19db1 (192.168.137.10): icmp_seq=3 ttl=64 time=0.038 ms
64 bytes from oel19db1 (192.168.137.10): icmp_seq=4 ttl=64 time=0.046 ms
64 bytes from oel19db1 (192.168.137.10): icmp_seq=5 ttl=64 time=0.050 ms
 
--- oel19db1 ping statistics ---
5 packets transmitted, 5 received, 0% packet loss, time 4085ms
rtt min/avg/max/mdev = 0.033/0.041/0.050/0.009 ms
PING oel19db2 (192.168.137.2056(84) bytes of data.
64 bytes from oel19db2 (192.168.137.20): icmp_seq=1 ttl=64 time=0.322 ms
64 bytes from oel19db2 (192.168.137.20): icmp_seq=2 ttl=64 time=0.221 ms
64 bytes from oel19db2 (192.168.137.20): icmp_seq=3 ttl=64 time=0.210 ms
64 bytes from oel19db2 (192.168.137.20): icmp_seq=4 ttl=64 time=0.213 ms
64 bytes from oel19db2 (192.168.137.20): icmp_seq=5 ttl=64 time=0.206 ms
 
--- oel19db2 ping statistics ---
5 packets transmitted, 5 received, 0% packet loss, time 4091ms
rtt min/avg/max/mdev = 0.206/0.234/0.322/0.046 ms
Remote host reachability check succeeded.
The following hosts are reachable: oel19db1 oel19db2.
The following hosts are not reachable: .
All hosts are reachable. Proceeding further...
firsthost oel19db1
numhosts 2
The script will setup SSH connectivity from the host oel19db1 to all
the remote hosts. After the script is executed, the user can use SSH to run
commands on the remote hosts or copy files between this host oel19db1
and the remote hosts without being prompted for passwords or confirmations.
 
NOTE 1:
As part of the setup procedure, this script will use ssh and scp to copy
files between the local host and the remote hosts. Since the script does not
store passwords, you may be prompted for the passwords during the execution of
the script whenever ssh or scp is invoked.
 
NOTE 2:
AS PER SSH REQUIREMENTS, THIS SCRIPT WILL SECURE THE USER HOME DIRECTORY
AND THE .ssh DIRECTORY BY REVOKING GROUP AND WORLD WRITE PRIVILEGES TO THESE
directories.
 
Do you want to continue and let the script make the above mentioned changes (yes/no)?
yes
 
The user chose yes
User chose to skip passphrase related questions.
Creating .ssh directory on local host, if not present already
Creating authorized_keys file on local host
Changing permissions on authorized_keys to 644 on local host
Creating known_hosts file on local host
Changing permissions on known_hosts to 644 on local host
Creating config file on local host
If a config file exists already at /home/oracle/.ssh/config, it would be backed up to /home/oracle/.ssh/config.backup.
Removing old private/public keys on local host
Running SSH keygen on local host with empty passphrase
Generating public/private rsa key pair.
Your identification has been saved in /home/oracle/.ssh/id_rsa.
Your public key has been saved in /home/oracle/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:v8kkM6Mn43bpsrIbg44glZyfhwHNKYSLFvrNP/+l6YE oracle@oel19db1
The key's randomart image is:
+---[RSA 1024]----+
| ..              |
|.o o .           |
|o.+ +            |
|+o =             |
|..=o.   S        |
| ..oo+   o       |
|o . *.. E.+ .    |
|oo  .+B.+B B     |
|. . o*+@ooO      |
+----[SHA256]-----+
Creating .ssh directory and setting permissions on remote host oel19db1
THE SCRIPT WOULD ALSO BE REVOKING WRITE PERMISSIONS FOR group AND others ON THE HOME DIRECTORY FOR oracle. THIS IS AN SSH REQUIREMENT.
The script would create ~oracle/.ssh/config file on remote host oel19db1. If a config file exists already at ~oracle/.ssh/config, it would be backed up to ~oracle/.ssh/config.backup.
The user may be prompted for a password here since the script would be running SSH on host oel19db1.
Warning: Permanently added 'oel19db1,192.168.137.10' (ECDSA) to the list of known hosts.
oracle@oel19db1's password: 
Done with creating .ssh directory and setting permissions on remote host oel19db1.
Creating .ssh directory and setting permissions on remote host oel19db2
THE SCRIPT WOULD ALSO BE REVOKING WRITE PERMISSIONS FOR group AND others ON THE HOME DIRECTORY FOR oracle. THIS IS AN SSH REQUIREMENT.
The script would create ~oracle/.ssh/config file on remote host oel19db2. If a config file exists already at ~oracle/.ssh/config, it would be backed up to ~oracle/.ssh/config.backup.
The user may be prompted for a password here since the script would be running SSH on host oel19db2.
Warning: Permanently added 'oel19db2,192.168.137.20' (ECDSA) to the list of known hosts.
oracle@oel19db2's password: 
Done with creating .ssh directory and setting permissions on remote host oel19db2.
Copying local host public key to the remote host oel19db1
The user may be prompted for a password or passphrase here since the script would be using SCP for host oel19db1.
oracle@oel19db1's password: 
Done copying local host public key to the remote host oel19db1
Copying local host public key to the remote host oel19db2
The user may be prompted for a password or passphrase here since the script would be using SCP for host oel19db2.
oracle@oel19db2's password: 
Done copying local host public key to the remote host oel19db2
Creating keys on remote host oel19db1 if they do not exist already. This is required to setup SSH on host oel19db1.
 
Creating keys on remote host oel19db2 if they do not exist already. This is required to setup SSH on host oel19db2.
Generating public/private rsa key pair.
Your identification has been saved in .ssh/id_rsa.
Your public key has been saved in .ssh/id_rsa.pub.
The key fingerprint is:
SHA256:Ogdg0TVj91j0DB4Lk2ocioLovs4xriRB3wgWfp9wWdY oracle@oel19db2
The key's randomart image is:
+---[RSA 1024]----+
| .  .. +* +o=    |
|. .  .=..E.B *   |
|.* oo+ o o. + o  |
|= =.B.o +        |
|o  + +..S        |
| o     o         |
|o+    o .        |
|=.o    o         |
|+=.              |
+----[SHA256]-----+
Updating authorized_keys file on remote host oel19db1
Updating known_hosts file on remote host oel19db1
Updating authorized_keys file on remote host oel19db2
Updating known_hosts file on remote host oel19db2
cat: /home/oracle/.ssh/known_hosts.tmp: No such file or directory
cat: /home/oracle/.ssh/authorized_keys.tmp: No such file or directory
SSH setup is complete.
 
------------------------------------------------------------------------
Verifying SSH setup
===================
The script will now run the date command on the remote nodes using ssh
to verify if ssh is setup correctly. IF THE SETUP IS CORRECTLY SETUP,
THERE SHOULD BE NO OUTPUT OTHER THAN THE DATE AND SSH SHOULD NOT ASK FOR
PASSWORDS. If you see any output other than date or are prompted for the
password, ssh is not setup correctly and you will need to resolve the
issue and set up ssh again.
The possible causes for failure could be:
1. The server settings in /etc/ssh/sshd_config file do not allow ssh
for user oracle.
2. The server may have disabled public key based authentication.
3. The client public key on the server may be outdated.
4. ~oracle or ~oracle/.ssh on the remote host may not be owned by oracle.
5. User may not have passed -shared option for shared remote users or
may be passing the -shared option for non-shared remote users.
6. If there is output in addition to the date, but no password is asked,
it may be a security alert shown as part of company policy. Append the
additional text to the <OMS HOME>/sysman/prov/resources/ignoreMessages.txt file.
------------------------------------------------------------------------
--oel19db1:--
Running /usr/bin/ssh --l oracle oel19db1 date to verify SSH connectivity has been setup from local host to oel19db1.
IF YOU SEE ANY OTHER OUTPUT BESIDES THE OUTPUT OF THE DATE COMMAND OR IF YOU ARE PROMPTED FOR A PASSWORD HERE, IT MEANS SSH SETUP HAS NOT BEEN SUCCESSFUL. Please note that being prompted for a passphrase may be OK but being prompted for a password is ERROR.
Wed Mar  4 03:55:54 KST 2020
------------------------------------------------------------------------
--oel19db2:--
Running /usr/bin/ssh --l oracle oel19db2 date to verify SSH connectivity has been setup from local host to oel19db2.
IF YOU SEE ANY OTHER OUTPUT BESIDES THE OUTPUT OF THE DATE COMMAND OR IF YOU ARE PROMPTED FOR A PASSWORD HERE, IT MEANS SSH SETUP HAS NOT BEEN SUCCESSFUL. Please note that being prompted for a passphrase may be OK but being prompted for a password is ERROR.
Wed Mar  4 03:55:54 KST 2020
------------------------------------------------------------------------
------------------------------------------------------------------------
Verifying SSH connectivity has been setup from oel19db1 to oel19db1
IF YOU SEE ANY OTHER OUTPUT BESIDES THE OUTPUT OF THE DATE COMMAND OR IF YOU ARE PROMPTED FOR A PASSWORD HERE, IT MEANS SSH SETUP HAS NOT BEEN SUCCESSFUL.
Wed Mar  4 03:55:54 KST 2020
------------------------------------------------------------------------
------------------------------------------------------------------------
Verifying SSH connectivity has been setup from oel19db1 to oel19db2
IF YOU SEE ANY OTHER OUTPUT BESIDES THE OUTPUT OF THE DATE COMMAND OR IF YOU ARE PROMPTED FOR A PASSWORD HERE, IT MEANS SSH SETUP HAS NOT BEEN SUCCESSFUL.
Wed Mar  4 03:55:55 KST 2020
------------------------------------------------------------------------
-Verification from complete-
SSH verification complete.
 

 

 

사전점검(kernel / package 등)

1
2
$ cd $GRID_HOME
$ ./runcluvfy.sh stage -pre crsinst -n oel19db1,oel19db2 -osdba dba -orainv dba -networks ens32/ens35 -verbose >> precheck.log
 

 

사전점검(kernel / package 등)로그 확인

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
392
393
394
395
396
397
398
399
400
401
402
403
404
405
406
407
408
409
410
411
412
413
414
415
416
417
418
419
420
421
422
423
424
425
426
427
428
429
430
431
432
433
434
435
436
437
438
439
440
441
442
443
444
445
446
447
448
449
450
451
452
453
454
455
456
457
458
459
460
461
462
463
464
465
466
467
468
469
470
471
472
473
474
475
476
477
478
479
480
481
482
483
484
485
486
487
488
489
490
491
492
493
494
495
496
497
498
499
500
501
502
503
504
505
506
507
508
509
510
511
512
513
514
515
516
517
518
519
520
521
522
523
524
525
526
527
528
529
530
531
532
533
534
535
536
537
538
539
540
541
542
543
544
545
546
547
548
549
550
551
552
553
554
555
556
557
558
559
560
561
562
563
564
565
566
567
568
569
570
571
572
573
574
575
576
577
578
579
580
581
582
583
584
585
586
587
588
589
590
591
592
593
594
595
596
597
598
599
600
601
602
603
604
605
606
607
608
609
610
611
612
613
614
615
616
617
618
619
620
621
622
623
624
625
626
627
628
629
630
631
632
633
634
635
636
637
638
639
640
641
642
643
644
645
646
647
648
649
650
651
652
653
654
655
656
657
658
659
660
661
662
663
664
665
666
667
668
669
670
671
672
673
674
675
676
677
678
679
680
681
682
683
684
685
686
687
688
689
690
691
692
693
694
695
696
697
698
699
700
701
702
703
704
705
706
707
708
709
710
711
712
713
714
715
716
717
718
719
720
721
722
723
724
725
726
727
728
729
730
731
732
733
734
735
736
737
738
739
740
741
742
743
744
745
746
747
748
749
750
751
752
753
754
755
756
757
758
759
760
761
762
763
764
765
766
767
768
769
770
771
772
773
774
775
776
777
778
779
780
781
782
783
784
785
786
787
788
789
790
791
792
793
794
795
796
797
798
799
800
801
802
803
804
805
806
807
808
809
810
811
812
813
814
815
816
817
818
819
820
821
822
823
824
825
826
827
828
829
830
831
832
833
834
835
836
837
838
839
840
841
842
843
844
845
846
847
848
849
850
851
852
853
854
855
856
857
858
859
860
861
862
863
864
865
866
867
868
869
870
871
872
873
874
875
876
877
878
879
880
881
882
883
884
885
886
887
888
889
890
891
892
893
894
895
896
897
898
899
900
901
902
903
904
905
906
907
908
909
910
911
912
913
914
915
916
917
918
919
920
921
922
$ vi precheck.log
?? "precheck.log" 513L, 32956CNode NameCurrentConfigured    Required      StatusComment
  ----------------  ------------  ------------  ------------  ------------  ------------
  oel19db1409640964096passed
  oel19db2409640964096passed
Verifying OS Kernel Parameter: shmmni ...PASSED
Verifying OS Kernel Parameter: shmall ...
  Node NameCurrentConfigured    Required      StatusComment
  ----------------  ------------  ------------  ------------  ------------  ------------
  oel19db11073741824    1073741824    1073741824    passed
  oel19db21073741824    1073741824    1073741824    passed
Verifying OS Kernel Parameter: shmall ...PASSED
Verifying OS Kernel Parameter: file-max ...
  Node NameCurrentConfigured    Required      StatusComment
  ----------------  ------------  ------------  ------------  ------------  ------------
  oel19db1681574468157446815744passed
  oel19db2681574468157446815744passed
Verifying OS Kernel Parameter: file-max ...PASSED
Verifying OS Kernel Parameter: ip_local_port_range ...
  Node NameCurrentConfigured    Required      StatusComment
  ----------------  ------------  ------------  ------------  ------------  ------------
  oel19db1between 9000 & 65500  between 9000 & 65500  between 9000 & 65535  passed
  oel19db2between 9000 & 65500  between 9000 & 65500  between 9000 & 65535  passed
Verifying OS Kernel Parameter: ip_local_port_range ...PASSED
Verifying OS Kernel Parameter: rmem_default ...
  Node NameCurrentConfigured    Required      StatusComment
  ----------------  ------------  ------------  ------------  ------------  ------------
  oel19db1262144262144262144passed
  oel19db2262144262144262144passed
Verifying OS Kernel Parameter: rmem_default ...PASSED
Verifying OS Kernel Parameter: rmem_max ...
  Node NameCurrentConfigured    Required      StatusComment
  ----------------  ------------  ------------  ------------  ------------  ------------
  oel19db1419430441943044194304passed
  oel19db2419430441943044194304passed
Verifying OS Kernel Parameter: rmem_max ...PASSED
Verifying OS Kernel Parameter: wmem_default ...166,131%Node NameCurrentConfigured    Required      StatusComment
  ----------------  ------------  ------------  ------------  ------------  ------------
  oel19db1409640964096passed
  oel19db2409640964096passed
Verifying OS Kernel Parameter: shmmni ...PASSED
Verifying OS Kernel Parameter: shmall ...
  Node NameCurrentConfigured    Required      StatusComment
  ----------------  ------------  ------------  ------------  ------------  ------------
  oel19db11073741824    1073741824    1073741824    passed
  oel19db21073741824    1073741824    1073741824    passed
Verifying OS Kernel Parameter: shmall ...PASSED
Verifying OS Kernel Parameter: file-max ...
  Node NameCurrentConfigured    Required      StatusComment
  ----------------  ------------  ------------  ------------  ------------  ------------
  oel19db1681574468157446815744passed
  oel19db2681574468157446815744passed
Verifying OS Kernel Parameter: file-max ...PASSED
Verifying OS Kernel Parameter: ip_local_port_range ...
  Node NameCurrentConfigured    Required      StatusComment
  ----------------  ------------  ------------  ------------  ------------  ------------
  oel19db1between 9000 & 65500  between 9000 & 65500  between 9000 & 65535  passed
  oel19db2between 9000 & 65500  between 9000 & 65500  between 9000 & 65535  passed
Verifying OS Kernel Parameter: ip_local_port_range ...PASSED
Verifying OS Kernel Parameter: rmem_default ...
  Node NameCurrentConfigured    Required      StatusComment
  ----------------  ------------  ------------  ------------  ------------  ------------
  oel19db1262144262144262144passed
  oel19db2262144262144262144passed
Verifying OS Kernel Parameter: rmem_default ...PASSED
Verifying OS Kernel Parameter: rmem_max ...
  Node NameCurrentConfigured    Required      StatusComment
  ----------------  ------------  ------------  ------------  ------------  ------------
  oel19db1419430441943044194304passed
  oel19db2419430441943044194304passed
Verifying OS Kernel Parameter: rmem_max ...PASSED
Verifying OS Kernel Parameter: wmem_default ...166,131%
"precheck.log" 513L, 32956Coel19db1: PRVF-7530 : Sufficient physical memory is not available on node"oel19db1" [Required physical memory = 8GB (8388608.0KB)]
 
Verifying Group Existence: asmadmin ...FAILED
oel19db2: PRVG-10461 : Group "asmadmin" selected for privileges "OSASM" doesnot exist on node "oel19db2".
 
oel19db1: PRVG-10461 : Group "asmadmin" selected for privileges "OSASM" doesnot exist on node "oel19db1".
 
Verifying Group Membership: asmadmin ...FAILED
oel19db2: PRVG-10460 : User "oracle" does not belong to group "asmadmin"selected for privileges "OSASM" on node "oel19db2".
 
oel19db1: PRVG-10460 : User "oracle" does not belong to group "asmadmin"selected for privileges "OSASM" on node "oel19db1".
 
Verifying RPM Package Manager database ...INFORMATION
PRVG-11250 : The check "RPM Package Manager database" was not performed because
it needs 'root' user privileges.
 
Verifying /dev/shm mounted as temporary file system ...FAILED
oel19db2: PRVE-0426 : The size of in-memory file system mounted as /dev/shm is"1843" megabytes which is less than the required size of "2048"megabytes on node "oel19db2"
 
oel19db1: PRVE-0426 : The size of in-memory file system mounted as /dev/shm is"1843" megabytes which is less than the required size of "2048"megabytes on node "oel19db1"
 
 
CVU operation performed:      stage -pre crsinst
Date:Mar 42020 3:58:21 AM
CVU home:/ORA19/app/grid/19.3.0/
User:oracle513,1BotVerifying Physical Memory ...
  Node Name     AvailableRequiredStatus
  ------------  ------------------------  ------------------------  ----------
  oel19db2      3.5927GB (3767240.0KB)    8GB (8388608.0KB)failed
  oel19db1      3.5927GB (3767248.0KB)    8GB (8388608.0KB)failed
Verifying Physical Memory ...FAILED (PRVF-7530)
Verifying Available Physical Memory ...
  Node Name     AvailableRequiredStatus
  ------------  ------------------------  ------------------------  ----------
  oel19db2      2.9331GB (3075548.0KB)    50MB (51200.0KB)passed
  oel19db1      2.9993GB (3144956.0KB)    50MB (51200.0KB)passed
Verifying Available Physical Memory ...PASSED
Verifying Swap Size ...
  Node Name     AvailableRequiredStatus
  ------------  ------------------------  ------------------------  ----------
  oel19db2      3.875GB (4063228.0KB)     3.5927GB (3767240.0KB)    passed
  oel19db1      3.875GB (4063228.0KB)     3.5927GB (3767248.0KB)    passed
Verifying Swap Size ...PASSED
Verifying Free Space: oel19db2:/usr,oel19db2:/var,oel19db2:/etc,oel19db2:/sbin,oel19db2:/tmp ...
  PathNode Name     Mount point   Available     Required      Status
  ----------------  ------------  ------------  ------------  ------------  ------------
  /usroel19db2      /29.2686GB     25MBpassed
  /varoel19db2      /29.2686GB     5MBpassed
  /etcoel19db2      /29.2686GB     25MBpassed
  /sbinoel19db2      /29.2686GB     10MBpassed
  /tmpoel19db2      /29.2686GB     1GBpassed
Verifying Free Space: oel19db2:/usr,oel19db2:/var,oel19db2:/etc,oel19db2:/sbin,oel19db2:/tmp ...PASSED
Verifying Free Space: oel19db1:/usr,oel19db1:/var,oel19db1:/etc,oel19db1:/sbin,oel19db1:/tmp ...
  PathNode Name     Mount point   Available     Required      Status
  ----------------  ------------  ------------  ------------  ------------  ------------
  /usroel19db1      /14.3864GB     25MBpassed
  /varoel19db1      /14.3864GB     5MBpassed
  /etcoel19db1      /14.3864GB     25MBpassed
  /sbinoel19db1      /14.3864GB     10MBpassed
  /tmpoel19db1      /14.3864GB     1GBpassed1,0-1Topoel19db1: PRVF-7530 : Sufficient physical memory is not available on node"oel19db1" [Required physical memory = 8GB (8388608.0KB)]
 
Verifying Group Existence: asmadmin ...FAILED
oel19db2: PRVG-10461 : Group "asmadmin" selected for privileges "OSASM" doesnot exist on node "oel19db2".
 
oel19db1: PRVG-10461 : Group "asmadmin" selected for privileges "OSASM" doesnot exist on node "oel19db1".
 
Verifying Group Membership: asmadmin ...FAILED
oel19db2: PRVG-10460 : User "oracle" does not belong to group "asmadmin"selected for privileges "OSASM" on node "oel19db2".
 
oel19db1: PRVG-10460 : User "oracle" does not belong to group "asmadmin"selected for privileges "OSASM" on node "oel19db1".
 
Verifying RPM Package Manager database ...INFORMATION
PRVG-11250 : The check "RPM Package Manager database" was not performed because
it needs 'root' user privileges.
 
Verifying /dev/shm mounted as temporary file system ...FAILED
oel19db2: PRVE-0426 : The size of in-memory file system mounted as /dev/shm is"1843" megabytes which is less than the required size of "2048"megabytes on node "oel19db2"
 
oel19db1: PRVE-0426 : The size of in-memory file system mounted as /dev/shm is"1843" megabytes which is less than the required size of "2048"megabytes on node "oel19db1"
 
 
CVU operation performed:      stage -pre crsinst
Date:Mar 42020 3:58:21 AM
CVU home:/ORA19/app/grid/19.3.0/
User:oracle513,1Bot221009,0-187,2  654,0-13,2  210Node Name     Running?Status
  ------------  ------------------------  ------------------------
  oel19db2      nopassed
  oel19db1      nopassed
Verifying Daemon "avahi-daemon" not configured and running ...PASSED
Verifying Daemon "proxyt" not configured and running ...
  Node Name     ConfiguredStatus
  ------------  ------------------------  ------------------------
  oel19db2      nopassed
  oel19db1      nopassed
 
  Node Name     Running?Status
  ------------  ------------------------  ------------------------
  oel19db2      nopassed
  oel19db1      nopassed
Verifying Daemon "proxyt" not configured and running ...PASSED
Verifying loopback network interface address ...PASSED
Verifying User Equivalence ...PASSED
Verifying RPM Package Manager database ...INFORMATION (PRVG-11250)
Verifying /dev/shm mounted as temporary file system ...FAILED (PRVE-0426)
Verifying File system mount options for path /var ...PASSED
Verifying DefaultTasksMax parameter ...PASSED
Verifying zeroconf check ...PASSED
Verifying ASM Filter Driver configuration ...PASSED
Verifying Systemd login manager IPC parameter ...PASSED
 
Pre-check for cluster services setup was unsuccessful on all the nodes.
 
 
Failures were encountered during execution of CVU verification request "stage -pre crsinst".
 
Verifying Physical Memory ...FAILED
oel19db2: PRVF-7530 : Sufficient physical memory is not available on node"oel19db2" [Required physical memory = 8GB (8388608.0KB)]
 
oel19db1: PRVF-7530 : Sufficient physical memory is not available on node479,192%8,0-17,1  654,0-13,1  2,0-110,1  69,0-18,1  7654oel19db2      passeddoes not exist
  oel19db1      passeddoes not exist
Verifying User Not In Group "root": oracle ...PASSED
Verifying Time zone consistency ...PASSED
Verifying Time offset between nodes ...PASSED
Verifying resolv.conf Integrity ...
  Node NameStatus
  ------------------------------------  ------------------------
  oel19db1passed
  oel19db2passed
 
checking response for name "oel19db2" from each of the name servers specified
in "/etc/resolv.conf"
 
  Node Name     SourceCommentStatus
  ------------  ------------------------  ------------------------  ----------
  oel19db2      168.126.63.1IPv4passed
 
checking response for name "oel19db1" from each of the name servers specified
in "/etc/resolv.conf"
 
  Node Name     SourceCommentStatus
  ------------  ------------------------  ------------------------  ----------
  oel19db1      168.126.63.1IPv4passed
Verifying resolv.conf Integrity ...PASSED
Verifying DNS/NIS name service ...PASSED
Verifying Domain Sockets ...PASSED
Verifying /boot mount ...PASSED
Verifying Daemon "avahi-daemon" not configured and running ...
  Node Name     ConfiguredStatus
  ------------  ------------------------  ------------------------
  oel19db2      nopassed
  oel19db1      nopassed
 
  Node Name     Running?Status
  ------------  ------------------------  ------------------------445,385%------------------------------  ------------------------------  ----------------
  oel19db1[ens35:10.10.10.10]     oel19db2[ens35:10.10.10.20]     yes
 
  SourceDestinationConnected?
  ------------------------------  ------------------------------  ----------------
  oel19db1[ens32:192.168.137.10]  oel19db2[ens32:192.168.137.20]  yes
  Verifying Check that maximum (MTU) size packet goes through subnet ...PASSED
  Verifying subnet mask consistency for subnet "10.10.10.0" ...PASSED
  Verifying subnet mask consistency for subnet "192.168.137.0" ...PASSED
Verifying Node Connectivity ...PASSED
Verifying Multicast or broadcast check ...
Checking subnet "10.10.10.0" for multicast communication with multicast group "224.0.0.251"
Verifying Multicast or broadcast check ...PASSED
Verifying ASMLib installation and configuration verification. ...
  Verifying '/etc/init.d/oracleasm' ...PASSED
  Verifying '/dev/oracleasm' ...PASSED
  Verifying '/etc/sysconfig/oracleasm' ...PASSED
 
  Node NameStatus
  ------------------------------------  ------------------------
  oel19db1passed
  oel19db2passed
Verifying ASMLib installation and configuration verification. ...PASSED
Verifying Network Time Protocol (NTP) ...PASSED
Verifying Same core file name pattern ...PASSED
Verifying User Mask ...
  Node Name     AvailableRequiredComment
  ------------  ------------------------  ------------------------  ----------
  oel19db2      00220022passed
  oel19db1      00220022passed
Verifying User Mask ...PASSED
Verifying User Not In Group "root": oracle ...
  Node Name     StatusComment
  ------------  ------------------------  ------------------------
  oel19db2      passeddoes not exist
  oel19db1      passeddoes not exist411,378%------------------------------------  ------------------------
  oel19db1passed
  oel19db2passed
  Verifying Hosts File ...PASSED
 
Interface information for node "oel19db1"
 
 Name   IP Address      SubnetGatewayDef. Gateway    HW AddressMTU
 ------ --------------- --------------- --------------- --------------- ----------------- ------
 ens32  192.168.137.10  192.168.137.0   0.0.0.0192.168.137.2   00:0C:29:D3:6D:16 1500
 ens35  10.10.10.10     10.10.10.0      0.0.0.0192.168.137.2   00:0C:29:D3:6D:20 1500
 
Interface information for node "oel19db2"
 
 Name   IP Address      SubnetGatewayDef. Gateway    HW AddressMTU
 ------ --------------- --------------- --------------- --------------- ----------------- ------
 ens32  192.168.137.20  192.168.137.0   0.0.0.0192.168.137.2   00:50:56:3D:54:C6 1500
 ens35  10.10.10.20     10.10.10.0      0.0.0.0192.168.137.2   00:50:56:39:A3:BC 1500
 
Check: MTU consistency of the subnet "10.10.10.0".
 
  NodeNameIP Address    SubnetMTU
  ----------------  ------------  ------------  ------------  ----------------
  oel19db1ens3510.10.10.10   10.10.10.0    1500
  oel19db2ens3510.10.10.20   10.10.10.0    1500
 
Check: MTU consistency of the subnet "192.168.137.0".
 
  NodeNameIP Address    SubnetMTU
  ----------------  ------------  ------------  ------------  ----------------
  oel19db1ens32192.168.137.10  192.168.137.0  1500
  oel19db2ens32192.168.137.20  192.168.137.0  1500
 
  SourceDestinationConnected?
  ------------------------------  ------------------------------  ----------------
  oel19db1[ens35:10.10.10.10]     oel19db2[ens35:10.10.10.20]     yes377,371%oel19db1      net-tools-2.0-0.24.20131004git.el7  net-tools-2.0-0.17passed
Verifying Package: net-tools-2.0-0.17 ...PASSED
Verifying Port Availability for component "Oracle Notification Service (ONS)" ...
  Node NamePort Number   Protocol      Available     Status
  ----------------  ------------  ------------  ------------  ----------------
  oel19db26200TCPyessuccessful
  oel19db16200TCPyessuccessful
  oel19db26100TCPyessuccessful
  oel19db16100TCPyessuccessful
Verifying Port Availability for component "Oracle Notification Service (ONS)" ...PASSED
Verifying Port Availability for component "Oracle Cluster Synchronization Services (CSSD)" ...
  Node NamePort Number   Protocol      Available     Status
  ----------------  ------------  ------------  ------------  ----------------
  oel19db242424TCPyessuccessful
  oel19db142424TCPyessuccessful
Verifying Port Availability for component "Oracle Cluster Synchronization Services (CSSD)" ...PASSED
Verifying Users With Same UID: 0 ...PASSED
Verifying Current Group ID ...PASSED
Verifying Root user consistency ...
  Node NameStatus
  ------------------------------------  ------------------------
  oel19db2passed
  oel19db1passed
Verifying Root user consistency ...PASSED
Verifying Package: cvuqdisk-1.0.10-1 ...
  Node Name     AvailableRequiredStatus
  ------------  ------------------------  ------------------------  ----------
  oel19db2      cvuqdisk-1.0.10-1cvuqdisk-1.0.10-1passed
  oel19db1      cvuqdisk-1.0.10-1cvuqdisk-1.0.10-1passed
Verifying Package: cvuqdisk-1.0.10-1 ...PASSED
Verifying Host name ...PASSED
Verifying Node Connectivity ...
  Verifying Hosts File ...
  Node NameStatus
  ------------------------------------  ------------------------
  oel19db1passed343,364%Verifying Package: glibc-devel-2.17 (x86_64) ...
  Node Name     AvailableRequiredStatus
  ------------  ------------------------  ------------------------  ----------
  oel19db2      glibc-devel(x86_64)-2.17-260.0.9.el7  glibc-devel(x86_64)-2.17  passed
  oel19db1      glibc-devel(x86_64)-2.17-260.0.9.el7  glibc-devel(x86_64)-2.17  passed
Verifying Package: glibc-devel-2.17 (x86_64) ...PASSED
Verifying Package: libaio-0.3.109 (x86_64) ...
  Node Name     AvailableRequiredStatus
  ------------  ------------------------  ------------------------  ----------
  oel19db2      libaio(x86_64)-0.3.109-13.el7  libaio(x86_64)-0.3.109    passed
  oel19db1      libaio(x86_64)-0.3.109-13.el7  libaio(x86_64)-0.3.109    passed
Verifying Package: libaio-0.3.109 (x86_64) ...PASSED
Verifying Package: libaio-devel-0.3.109 (x86_64) ...
  Node Name     AvailableRequiredStatus
  ------------  ------------------------  ------------------------  ----------
  oel19db2      libaio-devel(x86_64)-0.3.109-13.el7  libaio-devel(x86_64)-0.3.109  passed
  oel19db1      libaio-devel(x86_64)-0.3.109-13.el7  libaio-devel(x86_64)-0.3.109  passed
Verifying Package: libaio-devel-0.3.109 (x86_64) ...PASSED
Verifying Package: nfs-utils-1.2.3-15 ...
  Node Name     AvailableRequiredStatus
  ------------  ------------------------  ------------------------  ----------
  oel19db2      nfs-utils-1.3.0-0.61.0.1.el7  nfs-utils-1.2.3-15passed
  oel19db1      nfs-utils-1.3.0-0.61.0.1.el7  nfs-utils-1.2.3-15passed
Verifying Package: nfs-utils-1.2.3-15 ...PASSED
Verifying Package: smartmontools-6.2-4 ...
  Node Name     AvailableRequiredStatus
  ------------  ------------------------  ------------------------  ----------
  oel19db2      smartmontools-6.5-1.el7   smartmontools-6.2-4passed
  oel19db1      smartmontools-6.5-1.el7   smartmontools-6.2-4passed
Verifying Package: smartmontools-6.2-4 ...PASSED
Verifying Package: net-tools-2.0-0.17 ...
  Node Name     AvailableRequiredStatus
  ------------  ------------------------  ------------------------  ----------
  oel19db2      net-tools-2.0-0.24.20131004git.el7  net-tools-2.0-0.17passed
  oel19db1      net-tools-2.0-0.24.20131004git.el7  net-tools-2.0-0.17passed
Verifying Package: net-tools-2.0-0.17 ...PASSED309,157%------------  ------------------------  ------------------------  ----------
  oel19db2      libstdc++(x86_64)-4.8.5-36.0.1.el7  libstdc++(x86_64)-4.8.2   passed
  oel19db1      libstdc++(x86_64)-4.8.5-36.0.1.el7  libstdc++(x86_64)-4.8.2   passed
Verifying Package: libstdc++-4.8.2 (x86_64) ...PASSED
Verifying Package: libstdc++-devel-4.8.2 (x86_64) ...
  Node Name     AvailableRequiredStatus
  ------------  ------------------------  ------------------------  ----------
  oel19db2      libstdc++-devel(x86_64)-4.8.5-36.0.1.el7  libstdc++-devel(x86_64)-4.8.2  passed
  oel19db1      libstdc++-devel(x86_64)-4.8.5-36.0.1.el7  libstdc++-devel(x86_64)-4.8.2  passed
Verifying Package: libstdc++-devel-4.8.2 (x86_64) ...PASSED
Verifying Package: sysstat-10.1.5 ...
  Node Name     AvailableRequiredStatus
  ------------  ------------------------  ------------------------  ----------
  oel19db2      sysstat-10.1.5-17.el7     sysstat-10.1.5passed
  oel19db1      sysstat-10.1.5-17.el7     sysstat-10.1.5passed
Verifying Package: sysstat-10.1.5 ...PASSED
Verifying Package: ksh ...
  Node Name     AvailableRequiredStatus
  ------------  ------------------------  ------------------------  ----------
  oel19db2      kshkshpassed
  oel19db1      kshkshpassed
Verifying Package: ksh ...PASSED
Verifying Package: make-3.82 ...
  Node Name     AvailableRequiredStatus
  ------------  ------------------------  ------------------------  ----------
  oel19db2      make-3.82-23.el7make-3.82passed
  oel19db1      make-3.82-23.el7make-3.82passed
Verifying Package: make-3.82 ...PASSED
Verifying Package: glibc-2.17 (x86_64) ...
  Node Name     AvailableRequiredStatus
  ------------  ------------------------  ------------------------  ----------
  oel19db2      glibc(x86_64)-2.17-260.0.9.el7  glibc(x86_64)-2.17passed
  oel19db1      glibc(x86_64)-2.17-260.0.9.el7  glibc(x86_64)-2.17passed
Verifying Package: glibc-2.17 (x86_64) ...PASSED
Verifying Package: glibc-devel-2.17 (x86_64) ...
  Node Name     AvailableRequiredStatus275,350%Verifying Package: glibc-devel-2.17 (x86_64) ...
  Node Name     AvailableRequiredStatus
  ------------  ------------------------  ------------------------  ----------
  oel19db2      glibc-devel(x86_64)-2.17-260.0.9.el7  glibc-devel(x86_64)-2.17  passed
  oel19db1      glibc-devel(x86_64)-2.17-260.0.9.el7  glibc-devel(x86_64)-2.17  passed
Verifying Package: glibc-devel-2.17 (x86_64) ...PASSED
Verifying Package: libaio-0.3.109 (x86_64) ...
  Node Name     AvailableRequiredStatus
  ------------  ------------------------  ------------------------  ----------
  oel19db2      libaio(x86_64)-0.3.109-13.el7  libaio(x86_64)-0.3.109    passed
  oel19db1      libaio(x86_64)-0.3.109-13.el7  libaio(x86_64)-0.3.109    passed
Verifying Package: libaio-0.3.109 (x86_64) ...PASSED
Verifying Package: libaio-devel-0.3.109 (x86_64) ...
  Node Name     AvailableRequiredStatus
  ------------  ------------------------  ------------------------  ----------
  oel19db2      libaio-devel(x86_64)-0.3.109-13.el7  libaio-devel(x86_64)-0.3.109  passed
  oel19db1      libaio-devel(x86_64)-0.3.109-13.el7  libaio-devel(x86_64)-0.3.109  passed
Verifying Package: libaio-devel-0.3.109 (x86_64) ...PASSED
Verifying Package: nfs-utils-1.2.3-15 ...
  Node Name     AvailableRequiredStatus
  ------------  ------------------------  ------------------------  ----------
  oel19db2      nfs-utils-1.3.0-0.61.0.1.el7  nfs-utils-1.2.3-15passed
  oel19db1      nfs-utils-1.3.0-0.61.0.1.el7  nfs-utils-1.2.3-15passed
Verifying Package: nfs-utils-1.2.3-15 ...PASSED
Verifying Package: smartmontools-6.2-4 ...
  Node Name     AvailableRequiredStatus
  ------------  ------------------------  ------------------------  ----------
  oel19db2      smartmontools-6.5-1.el7   smartmontools-6.2-4passed
  oel19db1      smartmontools-6.5-1.el7   smartmontools-6.2-4passed
Verifying Package: smartmontools-6.2-4 ...PASSED
Verifying Package: net-tools-2.0-0.17 ...
  Node Name     AvailableRequiredStatus
  ------------  ------------------------  ------------------------  ----------
  oel19db2      net-tools-2.0-0.24.20131004git.el7  net-tools-2.0-0.17passed
  oel19db1      net-tools-2.0-0.24.20131004git.el7  net-tools-2.0-0.17passed
Verifying Package: net-tools-2.0-0.17 ...PASSED274,157%------------  ------------------------  ------------------------  ----------
  oel19db2      libstdc++(x86_64)-4.8.5-36.0.1.el7  libstdc++(x86_64)-4.8.2   passed
  oel19db1      libstdc++(x86_64)-4.8.5-36.0.1.el7  libstdc++(x86_64)-4.8.2   passed
Verifying Package: libstdc++-4.8.2 (x86_64) ...PASSED
Verifying Package: libstdc++-devel-4.8.2 (x86_64) ...
  Node Name     AvailableRequiredStatus
  ------------  ------------------------  ------------------------  ----------
  oel19db2      libstdc++-devel(x86_64)-4.8.5-36.0.1.el7  libstdc++-devel(x86_64)-4.8.2  passed
  oel19db1      libstdc++-devel(x86_64)-4.8.5-36.0.1.el7  libstdc++-devel(x86_64)-4.8.2  passed
Verifying Package: libstdc++-devel-4.8.2 (x86_64) ...PASSED
Verifying Package: sysstat-10.1.5 ...
  Node Name     AvailableRequiredStatus
  ------------  ------------------------  ------------------------  ----------
  oel19db2      sysstat-10.1.5-17.el7     sysstat-10.1.5passed
  oel19db1      sysstat-10.1.5-17.el7     sysstat-10.1.5passed
Verifying Package: sysstat-10.1.5 ...PASSED
Verifying Package: ksh ...
  Node Name     AvailableRequiredStatus
  ------------  ------------------------  ------------------------  ----------
  oel19db2      kshkshpassed
  oel19db1      kshkshpassed
Verifying Package: ksh ...PASSED
Verifying Package: make-3.82 ...
  Node Name     AvailableRequiredStatus
  ------------  ------------------------  ------------------------  ----------
  oel19db2      make-3.82-23.el7make-3.82passed
  oel19db1      make-3.82-23.el7make-3.82passed
Verifying Package: make-3.82 ...PASSED
Verifying Package: glibc-2.17 (x86_64) ...
  Node Name     AvailableRequiredStatus
  ------------  ------------------------  ------------------------  ----------
  oel19db2      glibc(x86_64)-2.17-260.0.9.el7  glibc(x86_64)-2.17passed
  oel19db1      glibc(x86_64)-2.17-260.0.9.el7  glibc(x86_64)-2.17passed
Verifying Package: glibc-2.17 (x86_64) ...PASSED
Verifying Package: glibc-devel-2.17 (x86_64) ...
  Node Name     AvailableRequiredStatus275,350%oel19db2111passed
Verifying OS Kernel Parameter: panic_on_oops ...PASSED
Verifying Package: kmod-20-21 (x86_64) ...
  Node Name     AvailableRequiredStatus
  ------------  ------------------------  ------------------------  ----------
  oel19db2      kmod(x86_64)-20-23.0.1.el7  kmod(x86_64)-20-21passed
  oel19db1      kmod(x86_64)-20-23.0.1.el7  kmod(x86_64)-20-21passed
Verifying Package: kmod-20-21 (x86_64) ...PASSED
Verifying Package: kmod-libs-20-21 (x86_64) ...
  Node Name     AvailableRequiredStatus
  ------------  ------------------------  ------------------------  ----------
  oel19db2      kmod-libs(x86_64)-20-23.0.1.el7  kmod-libs(x86_64)-20-21   passed
  oel19db1      kmod-libs(x86_64)-20-23.0.1.el7  kmod-libs(x86_64)-20-21   passed
Verifying Package: kmod-libs-20-21 (x86_64) ...PASSED
Verifying Package: binutils-2.23.52.0.1 ...
  Node Name     AvailableRequiredStatus
  ------------  ------------------------  ------------------------  ----------
  oel19db2      binutils-2.27-34.base.0.1.el7  binutils-2.23.52.0.1      passed
  oel19db1      binutils-2.27-34.base.0.1.el7  binutils-2.23.52.0.1      passed
Verifying Package: binutils-2.23.52.0.1 ...PASSED
Verifying Package: compat-libcap1-1.10 ...
  Node Name     AvailableRequiredStatus
  ------------  ------------------------  ------------------------  ----------
  oel19db2      compat-libcap1-1.10-7.el7  compat-libcap1-1.10passed
  oel19db1      compat-libcap1-1.10-7.el7  compat-libcap1-1.10passed
Verifying Package: compat-libcap1-1.10 ...PASSED
Verifying Package: libgcc-4.8.2 (x86_64) ...
  Node Name     AvailableRequiredStatus
  ------------  ------------------------  ------------------------  ----------
  oel19db2      libgcc(x86_64)-4.8.5-36.0.1.el7  libgcc(x86_64)-4.8.2      passed
  oel19db1      libgcc(x86_64)-4.8.5-36.0.1.el7  libgcc(x86_64)-4.8.2      passed
Verifying Package: libgcc-4.8.2 (x86_64) ...PASSED
Verifying Package: libstdc++-4.8.2 (x86_64) ...
  Node Name     AvailableRequiredStatus
  ------------  ------------------------  ------------------------  ----------
  oel19db2      libstdc++(x86_64)-4.8.5-36.0.1.el7  libstdc++(x86_64)-4.8.2   passed241,342%Verifying OS Kernel Parameter: rmem_default ...
  Node NameCurrentConfigured    Required      StatusComment
  ----------------  ------------  ------------  ------------  ------------  ------------
  oel19db1262144262144262144passed
  oel19db2262144262144262144passed
Verifying OS Kernel Parameter: rmem_default ...PASSED
Verifying OS Kernel Parameter: rmem_max ...
  Node NameCurrentConfigured    Required      StatusComment
  ----------------  ------------  ------------  ------------  ------------  ------------
  oel19db1419430441943044194304passed
  oel19db2419430441943044194304passed
Verifying OS Kernel Parameter: rmem_max ...PASSED
Verifying OS Kernel Parameter: wmem_default ...
  Node NameCurrentConfigured    Required      StatusComment
  ----------------  ------------  ------------  ------------  ------------  ------------
  oel19db1262144262144262144passed
  oel19db2262144262144262144passed
Verifying OS Kernel Parameter: wmem_default ...PASSED
Verifying OS Kernel Parameter: wmem_max ...
  Node NameCurrentConfigured    Required      StatusComment
  ----------------  ------------  ------------  ------------  ------------  ------------
  oel19db1104857610485761048576passed
  oel19db2104857610485761048576passed
Verifying OS Kernel Parameter: wmem_max ...PASSED
Verifying OS Kernel Parameter: aio-max-nr ...
  Node NameCurrentConfigured    Required      StatusComment
  ----------------  ------------  ------------  ------------  ------------  ------------
  oel19db1104857610485761048576passed
  oel19db2104857610485761048576passed
Verifying OS Kernel Parameter: aio-max-nr ...PASSED
Verifying OS Kernel Parameter: panic_on_oops ...
  Node NameCurrentConfigured    Required      StatusComment
  ----------------  ------------  ------------  ------------  ------------  ------------
  oel19db1111passed
  oel19db2111passed
Verifying OS Kernel Parameter: panic_on_oops ...PASSED207,135%----------------  ------------  ------------  ------------  ------------  ------------
  oel19db1128128128passed
  oel19db2128128128passed
Verifying OS Kernel Parameter: semmni ...PASSED
Verifying OS Kernel Parameter: shmmax ...
  Node NameCurrentConfigured    Required      StatusComment
  ----------------  ------------  ------------  ------------  ------------  ------------
  oel19db14398046511104  4398046511104  1928830976    passed
  oel19db24398046511104  4398046511104  1928826880    passed
Verifying OS Kernel Parameter: shmmax ...PASSED
Verifying OS Kernel Parameter: shmmni ...
  Node NameCurrentConfigured    Required      StatusComment
  ----------------  ------------  ------------  ------------  ------------  ------------
  oel19db1409640964096passed
  oel19db2409640964096passed
Verifying OS Kernel Parameter: shmmni ...PASSED
Verifying OS Kernel Parameter: shmall ...
  Node NameCurrentConfigured    Required      StatusComment
  ----------------  ------------  ------------  ------------  ------------  ------------
  oel19db11073741824    1073741824    1073741824    passed
  oel19db21073741824    1073741824    1073741824    passed
Verifying OS Kernel Parameter: shmall ...PASSED
Verifying OS Kernel Parameter: file-max ...
  Node NameCurrentConfigured    Required      StatusComment
  ----------------  ------------  ------------  ------------  ------------  ------------
  oel19db1681574468157446815744passed
  oel19db2681574468157446815744passed
Verifying OS Kernel Parameter: file-max ...PASSED
Verifying OS Kernel Parameter: ip_local_port_range ...
  Node NameCurrentConfigured    Required      StatusComment
  ----------------  ------------  ------------  ------------  ------------  ------------
  oel19db1between 9000 & 65500  between 9000 & 65500  between 9000 & 65535  passed
  oel19db2between 9000 & 65500  between 9000 & 65500  between 9000 & 65535  passed
Verifying OS Kernel Parameter: ip_local_port_range ...PASSED
Verifying OS Kernel Parameter: rmem_default ...
  Node NameCurrentConfigured    Required      StatusComment173,328%Verifying OS Kernel Parameter: rmem_default ...
  Node NameCurrentConfigured    Required      StatusComment
  ----------------  ------------  ------------  ------------  ------------  ------------
  oel19db1262144262144262144passed
  oel19db2262144262144262144passed
Verifying OS Kernel Parameter: rmem_default ...PASSED
Verifying OS Kernel Parameter: rmem_max ...
  Node NameCurrentConfigured    Required      StatusComment
  ----------------  ------------  ------------  ------------  ------------  ------------
  oel19db1419430441943044194304passed
  oel19db2419430441943044194304passed
Verifying OS Kernel Parameter: rmem_max ...PASSED
Verifying OS Kernel Parameter: wmem_default ...
  Node NameCurrentConfigured    Required      StatusComment
  ----------------  ------------  ------------  ------------  ------------  ------------
  oel19db1262144262144262144passed
  oel19db2262144262144262144passed
Verifying OS Kernel Parameter: wmem_default ...PASSED
Verifying OS Kernel Parameter: wmem_max ...
  Node NameCurrentConfigured    Required      StatusComment
  ----------------  ------------  ------------  ------------  ------------  ------------
  oel19db1104857610485761048576passed
  oel19db2104857610485761048576passed
Verifying OS Kernel Parameter: wmem_max ...PASSED
Verifying OS Kernel Parameter: aio-max-nr ...
  Node NameCurrentConfigured    Required      StatusComment
  ----------------  ------------  ------------  ------------  ------------  ------------
  oel19db1104857610485761048576passed
  oel19db2104857610485761048576passed
Verifying OS Kernel Parameter: aio-max-nr ...PASSED
Verifying OS Kernel Parameter: panic_on_oops ...
  Node NameCurrentConfigured    Required      StatusComment
  ----------------  ------------  ------------  ------------  ------------  ------------
  oel19db1111passed
  oel19db2111passed
Verifying OS Kernel Parameter: panic_on_oops ...PASSED172,135%3oel19db2111passed
Verifying OS Kernel Parameter: panic_on_oops ...PASSED
Verifying Package: kmod-20-21 (x86_64) ...
  Node Name     AvailableRequiredStatus
  ------------  ------------------------  ------------------------  ----------
  oel19db2      kmod(x86_64)-20-23.0.1.el7  kmod(x86_64)-20-21passed
  oel19db1      kmod(x86_64)-20-23.0.1.el7  kmod(x86_64)-20-21passed
Verifying Package: kmod-20-21 (x86_64) ...PASSED
Verifying Package: kmod-libs-20-21 (x86_64) ...
  Node Name     AvailableRequiredStatus
  ------------  ------------------------  ------------------------  ----------
  oel19db2      kmod-libs(x86_64)-20-23.0.1.el7  kmod-libs(x86_64)-20-21   passed
  oel19db1      kmod-libs(x86_64)-20-23.0.1.el7  kmod-libs(x86_64)-20-21   passed
Verifying Package: kmod-libs-20-21 (x86_64) ...PASSED
Verifying Package: binutils-2.23.52.0.1 ...
  Node Name     AvailableRequiredStatus
  ------------  ------------------------  ------------------------  ----------
  oel19db2      binutils-2.27-34.base.0.1.el7  binutils-2.23.52.0.1      passed
  oel19db1      binutils-2.27-34.base.0.1.el7  binutils-2.23.52.0.1      passed
Verifying Package: binutils-2.23.52.0.1 ...PASSED
Verifying Package: compat-libcap1-1.10 ...
  Node Name     AvailableRequiredStatus
  ------------  ------------------------  ------------------------  ----------
  oel19db2      compat-libcap1-1.10-7.el7  compat-libcap1-1.10passed
  oel19db1      compat-libcap1-1.10-7.el7  compat-libcap1-1.10passed
Verifying Package: compat-libcap1-1.10 ...PASSED
Verifying Package: libgcc-4.8.2 (x86_64) ...
  Node Name     AvailableRequiredStatus
  ------------  ------------------------  ------------------------  ----------
  oel19db2      libgcc(x86_64)-4.8.5-36.0.1.el7  libgcc(x86_64)-4.8.2      passed
  oel19db1      libgcc(x86_64)-4.8.5-36.0.1.el7  libgcc(x86_64)-4.8.2      passed
Verifying Package: libgcc-4.8.2 (x86_64) ...PASSED
Verifying Package: libstdc++-4.8.2 (x86_64) ...
  Node Name     AvailableRequiredStatus
  ------------  ------------------------  ------------------------  ----------
  oel19db2      libstdc++(x86_64)-4.8.5-36.0.1.el7  libstdc++(x86_64)-4.8.2   passed206,342%78910123------------  ------------------------  ------------------------  ----------
  oel19db2      libstdc++(x86_64)-4.8.5-36.0.1.el7  libstdc++(x86_64)-4.8.2   passed
  oel19db1      libstdc++(x86_64)-4.8.5-36.0.1.el7  libstdc++(x86_64)-4.8.2   passed
Verifying Package: libstdc++-4.8.2 (x86_64) ...PASSED
Verifying Package: libstdc++-devel-4.8.2 (x86_64) ...
  Node Name     AvailableRequiredStatus
  ------------  ------------------------  ------------------------  ----------
  oel19db2      libstdc++-devel(x86_64)-4.8.5-36.0.1.el7  libstdc++-devel(x86_64)-4.8.2  passed
  oel19db1      libstdc++-devel(x86_64)-4.8.5-36.0.1.el7  libstdc++-devel(x86_64)-4.8.2  passed
Verifying Package: libstdc++-devel-4.8.2 (x86_64) ...PASSED
Verifying Package: sysstat-10.1.5 ...
  Node Name     AvailableRequiredStatus
  ------------  ------------------------  ------------------------  ----------
  oel19db2      sysstat-10.1.5-17.el7     sysstat-10.1.5passed
  oel19db1      sysstat-10.1.5-17.el7     sysstat-10.1.5passed
Verifying Package: sysstat-10.1.5 ...PASSED
Verifying Package: ksh ...
  Node Name     AvailableRequiredStatus
  ------------  ------------------------  ------------------------  ----------
  oel19db2      kshkshpassed
  oel19db1      kshkshpassed
Verifying Package: ksh ...PASSED
Verifying Package: make-3.82 ...
  Node Name     AvailableRequiredStatus
  ------------  ------------------------  ------------------------  ----------
  oel19db2      make-3.82-23.el7make-3.82passed
  oel19db1      make-3.82-23.el7make-3.82passed
Verifying Package: make-3.82 ...PASSED
Verifying Package: glibc-2.17 (x86_64) ...
  Node Name     AvailableRequiredStatus
  ------------  ------------------------  ------------------------  ----------
  oel19db2      glibc(x86_64)-2.17-260.0.9.el7  glibc(x86_64)-2.17passed
  oel19db1      glibc(x86_64)-2.17-260.0.9.el7  glibc(x86_64)-2.17passed
Verifying Package: glibc-2.17 (x86_64) ...PASSED
Verifying Package: glibc-devel-2.17 (x86_64) ...
  Node Name     AvailableRequiredStatus240,350%Verifying Package: glibc-devel-2.17 (x86_64) ...
  Node Name     AvailableRequiredStatus
  ------------  ------------------------  ------------------------  ----------
  oel19db2      glibc-devel(x86_64)-2.17-260.0.9.el7  glibc-devel(x86_64)-2.17  passed
  oel19db1      glibc-devel(x86_64)-2.17-260.0.9.el7  glibc-devel(x86_64)-2.17  passed
Verifying Package: glibc-devel-2.17 (x86_64) ...PASSED
Verifying Package: libaio-0.3.109 (x86_64) ...
  Node Name     AvailableRequiredStatus
  ------------  ------------------------  ------------------------  ----------
  oel19db2      libaio(x86_64)-0.3.109-13.el7  libaio(x86_64)-0.3.109    passed
  oel19db1      libaio(x86_64)-0.3.109-13.el7  libaio(x86_64)-0.3.109    passed
Verifying Package: libaio-0.3.109 (x86_64) ...PASSED
Verifying Package: libaio-devel-0.3.109 (x86_64) ...
  Node Name     AvailableRequiredStatus
  ------------  ------------------------  ------------------------  ----------
  oel19db2      libaio-devel(x86_64)-0.3.109-13.el7  libaio-devel(x86_64)-0.3.109  passed
  oel19db1      libaio-devel(x86_64)-0.3.109-13.el7  libaio-devel(x86_64)-0.3.109  passed
Verifying Package: libaio-devel-0.3.109 (x86_64) ...PASSED
Verifying Package: nfs-utils-1.2.3-15 ...
  Node Name     AvailableRequiredStatus
  ------------  ------------------------  ------------------------  ----------
  oel19db2      nfs-utils-1.3.0-0.61.0.1.el7  nfs-utils-1.2.3-15passed
  oel19db1      nfs-utils-1.3.0-0.61.0.1.el7  nfs-utils-1.2.3-15passed
Verifying Package: nfs-utils-1.2.3-15 ...PASSED
Verifying Package: smartmontools-6.2-4 ...
  Node Name     AvailableRequiredStatus
  ------------  ------------------------  ------------------------  ----------
  oel19db2      smartmontools-6.5-1.el7   smartmontools-6.2-4passed
  oel19db1      smartmontools-6.5-1.el7   smartmontools-6.2-4passed
Verifying Package: smartmontools-6.2-4 ...PASSED
Verifying Package: net-tools-2.0-0.17 ...
  Node Name     AvailableRequiredStatus
  ------------  ------------------------  ------------------------  ----------
  oel19db2      net-tools-2.0-0.24.20131004git.el7  net-tools-2.0-0.17passed
  oel19db1      net-tools-2.0-0.24.20131004git.el7  net-tools-2.0-0.17passed
Verifying Package: net-tools-2.0-0.17 ...PASSED274,157%5oel19db1      net-tools-2.0-0.24.20131004git.el7  net-tools-2.0-0.17passed
Verifying Package: net-tools-2.0-0.17 ...PASSED
Verifying Port Availability for component "Oracle Notification Service (ONS)" ...
  Node NamePort Number   Protocol      Available     Status
  ----------------  ------------  ------------  ------------  ----------------
  oel19db26200TCPyessuccessful
  oel19db16200TCPyessuccessful
  oel19db26100TCPyessuccessful
  oel19db16100TCPyessuccessful
Verifying Port Availability for component "Oracle Notification Service (ONS)" ...PASSED
Verifying Port Availability for component "Oracle Cluster Synchronization Services (CSSD)" ...
  Node NamePort Number   Protocol      Available     Status
  ----------------  ------------  ------------  ------------  ----------------
  oel19db242424TCPyessuccessful
  oel19db142424TCPyessuccessful
Verifying Port Availability for component "Oracle Cluster Synchronization Services (CSSD)" ...PASSED
Verifying Users With Same UID: 0 ...PASSED
Verifying Current Group ID ...PASSED
Verifying Root user consistency ...
  Node NameStatus
  ------------------------------------  ------------------------
  oel19db2passed
  oel19db1passed
Verifying Root user consistency ...PASSED
Verifying Package: cvuqdisk-1.0.10-1 ...
  Node Name     AvailableRequiredStatus
  ------------  ------------------------  ------------------------  ----------
  oel19db2      cvuqdisk-1.0.10-1cvuqdisk-1.0.10-1passed
  oel19db1      cvuqdisk-1.0.10-1cvuqdisk-1.0.10-1passed
Verifying Package: cvuqdisk-1.0.10-1 ...PASSED
Verifying Host name ...PASSED
Verifying Node Connectivity ...
  Verifying Hosts File ...
  Node NameStatus
  ------------------------------------  ------------------------
  oel19db1passed308,364%910123456789201234567893012345678940123
oel19db2passed344,364%
Verifying Hosts File ...PASSED345,364%
346,0-164%
Interface information for node "oel19db1"347,365%
348,0-165%
Name   IP Address      SubnetGatewayDef. Gateway    HW AddressMTU349,365%
------ --------------- --------------- --------------- --------------- ----------------- ------350,365%
ens32  192.168.137.10  192.168.137.0   0.0.0.0192.168.137.2   00:0C:29:D3:6D:16 1500351,366%
ens35  10.10.10.10     10.10.10.0      0.0.0.0192.168.137.2   00:0C:29:D3:6D:20 1500352,366%
353,0-166%
Interface information for node "oel19db2"354,366%
355,0-166%
Name   IP Address      SubnetGatewayDef. Gateway    HW AddressMTU356,367%
------ --------------- --------------- --------------- --------------- ----------------- ------357,367%
ens32  192.168.137.20  192.168.137.0   0.0.0.0192.168.137.2   00:50:56:3D:54:C6 1500358,367%
ens35  10.10.10.20     10.10.10.0      0.0.0.0192.168.137.2   00:50:56:39:A3:BC 1500359,367%
360,0-167%
Check: MTU consistency of the subnet "10.10.10.0".361,368%
362,0-168%
NodeNameIP Address    SubnetMTU363,368%
----------------  ------------  ------------  ------------  ----------------364,368%
oel19db1ens3510.10.10.10   10.10.10.0    1500365,368%
oel19db2ens3510.10.10.20   10.10.10.0    1500366,369%
367,0-169%
Check: MTU consistency of the subnet "192.168.137.0".368,369%
369,0-169%
NodeNameIP Address    SubnetMTU370,370%
----------------  ------------  ------------  ------------  ----------------371,370%
oel19db1ens32192.168.137.10  192.168.137.0  1500372,370%
oel19db2ens32192.168.137.20  192.168.137.0  1500373,370%
374,0-170%
SourceDestinationConnected?375,371%
------------------------------  ------------------------------  ----------------376,371%
oel19db1[ens35:10.10.10.10]     oel19db2[ens35:10.10.10.20]     yes377,371%------------------------------  ------------------------------  ----------------
  oel19db1[ens35:10.10.10.10]     oel19db2[ens35:10.10.10.20]     yes
 
  SourceDestinationConnected?
  ------------------------------  ------------------------------  ----------------
  oel19db1[ens32:192.168.137.10]  oel19db2[ens32:192.168.137.20]  yes
  Verifying Check that maximum (MTU) size packet goes through subnet ...PASSED
  Verifying subnet mask consistency for subnet "10.10.10.0" ...PASSED
  Verifying subnet mask consistency for subnet "192.168.137.0" ...PASSED
Verifying Node Connectivity ...PASSED
Verifying Multicast or broadcast check ...
Checking subnet "10.10.10.0" for multicast communication with multicast group "224.0.0.251"
Verifying Multicast or broadcast check ...PASSED
Verifying ASMLib installation and configuration verification. ...
  Verifying '/etc/init.d/oracleasm' ...PASSED
  Verifying '/dev/oracleasm' ...PASSED
  Verifying '/etc/sysconfig/oracleasm' ...PASSED
 
  Node NameStatus
  ------------------------------------  ------------------------
  oel19db1passed
  oel19db2passed
Verifying ASMLib installation and configuration verification. ...PASSED
Verifying Network Time Protocol (NTP) ...PASSED
Verifying Same core file name pattern ...PASSED
Verifying User Mask ...
  Node Name     AvailableRequiredComment
  ------------  ------------------------  ------------------------  ----------
  oel19db2      00220022passed
  oel19db1      00220022passed
Verifying User Mask ...PASSED
Verifying User Not In Group "root": oracle ...
  Node Name     StatusComment
  ------------  ------------------------  ------------------------
  oel19db2      passeddoes not exist
  oel19db1      passeddoes not exist376,378%78,0-19,3  801234345678990123,0-14,3  56789400123456789101
Verifying User Not In Group "root": oracle ...PASSED412,378%
Verifying Time zone consistency ...PASSED413,379%
Verifying Time offset between nodes ...PASSED414,379%
Verifying resolv.conf Integrity ...415,379%
Node NameStatus416,379%
------------------------------------  ------------------------417,379%
oel19db1passed418,380%
oel19db2passed419,380%
420,0-180%
checking response for name "oel19db2" from each of the name servers specified421,380%
in "/etc/resolv.conf"422,380%
423,0-181%
Node Name     SourceCommentStatus424,381%
------------  ------------------------  ------------------------  ----------425,381%
oel19db2      168.126.63.1IPv4passed426,381%
427,0-181%6,3  543,0-12,3  10,0-119,3  876543210098765678921012345678920,0-11,2  23,0-14,2  567,0-1
checking response for name "oel19db1" from each of the name servers specified428,282%
in "/etc/resolv.conf"429,282%
430,0-182%
Node Name     SourceCommentStatus431,282%
------------  ------------------------  ------------------------  ----------432,283%
oel19db1      168.126.63.1IPv4passed433,283%
Verifying resolv.conf Integrity ...PASSED434,283%
Verifying DNS/NIS name service ...PASSED435,283%
Verifying Domain Sockets ...PASSED436,283%
Verifying /boot mount ...PASSED437,284%
Verifying Daemon "avahi-daemon" not configured and running ...438,284%
Node Name     ConfiguredStatus439,284%
------------  ------------------------  ------------------------440,284%
oel19db2      nopassed441,284%
oel19db1      nopassed442,285%
443,0-185%
Node Name     Running?Status444,285%
------------  ------------------------  ------------------------445,285%
oel19db2      nopassed446,285%
oel19db1      nopassed447,286%
Verifying Daemon "avahi-daemon" not configured and running ...PASSED448,286%
Verifying Daemon "proxyt" not configured and running ...449,286%
Node Name     ConfiguredStatus450,286%
------------  ------------------------  ------------------------451,287%
oel19db2      nopassed452,287%
oel19db1      nopassed453,287%
454,0-187%
Node Name     Running?Status455,287%
------------  ------------------------  ------------------------456,288%
oel19db2      nopassed457,288%
oel19db1      nopassed458,288%
Verifying Daemon "proxyt" not configured and running ...PASSED459,288%
Verifying loopback network interface address ...PASSED460,288%
Verifying User Equivalence ...PASSED461,289%
Verifying RPM Package Manager database ...INFORMATION (PRVG-11250)462,289%
Verifying /dev/shm mounted as temporary file system ...FAILED (PRVE-0426)463,289%
Verifying File system mount options for path /var ...PASSED464,289%
Verifying DefaultTasksMax parameter ...PASSED465,289%
Verifying zeroconf check ...PASSED466,290%
Verifying ASM Filter Driver configuration ...PASSED467,290%
Verifying Systemd login manager IPC parameter ...PASSED468,290%
469,0-190%
Pre-check for cluster services setup was unsuccessful on all the nodes.470,290%
471,0-191%
472,0-191%
Failures were encountered during execution of CVU verification request "stage -pre crsinst".473,291%
474,0-191%
Verifying Physical Memory ...FAILED475,292%
oel19db2: PRVF-7530 : Sufficient physical memory is not available on node476,292%
"oel19db2" [Required physical memory = 8GB (8388608.0KB)]477,292%
478,0-192%
oel19db1: PRVF-7530 : Sufficient physical memory is not available on node479,292%
"oel19db1" [Required physical memory = 8GB (8388608.0KB)]480,293%
481,0-193%
Verifying Group Existence: asmadmin ...FAILED482,293%
oel19db2: PRVG-10461 : Group "asmadmin" selected for privileges "OSASM" does483,293%
not exist on node "oel19db2".484,293%
485,0-194%
oel19db1: PRVG-10461 : Group "asmadmin" selected for privileges "OSASM" does486,294%
not exist on node "oel19db1".487,294%
488,0-194%
Verifying Group Membership: asmadmin ...FAILED489,294%
oel19db2: PRVG-10460 : User "oracle" does not belong to group "asmadmin"490,295%
selected for privileges "OSASM" on node "oel19db2".491,295%
492,0-195%
oel19db1: PRVG-10460 : User "oracle" does not belong to group "asmadmin"493,295%
selected for privileges "OSASM" on node "oel19db1".494,296%
495,0-196%
Verifying RPM Package Manager database ...INFORMATION496,296%
PRVG-11250 : The check "RPM Package Manager database" was not performed because497,296%
it needs 'root' user privileges.498,296%
499,0-197%
Verifying /dev/shm mounted as temporary file system ...FAILED500,297%
oel19db2: PRVE-0426 : The size of in-memory file system mounted as /dev/shm is501,297%
"1843" megabytes which is less than the required size of "2048"502,297%
megabytes on node "oel19db2"503,297%
504,0-198%
oel19db1: PRVE-0426 : The size of in-memory file system mounted as /dev/shm is505,298%
"1843" megabytes which is less than the required size of "2048"506,298%
megabytes on node "oel19db1"507,298%
508,0-198%
509,0-199%
CVU operation performed:      stage -pre crsinst510,299%
Date:Mar 42020 3:58:21 AM511,299%
CVU home:/ORA19/app/grid/19.3.0/512,299%
User:oracle513,2Bot:q!

 

 

Xmanager - Passive 켜고

 

grid 설치

1
2
3
4
5
6
7
8
9
10
$ ./gridSetup.sh
Launching Oracle Grid Infrastructure Setup Wizard...
 
The response file for this session can be found at:
 /ORA19/app/grid/19.3.0/install/response/grid_2020-03-04_06-55-06AM.rsp
 
You can find the log of this install session at:
 /tmp/GridSetupActions2020-03-04_06-55-06AM/gridSetupActions2020-03-04_06-55-06AM.log
Moved the install session logs to:
 /ORA19/app/oraInventory/logs/GridSetupActions2020-03-04_06-55-06AM

 

 

gui 로딩중

 

 

Configure Oracle Grid Infrastructure for a New Cluster 선택

 

 

Configure an Oracle Standalone Cluster 선택

 

 

SCAN 정보 입력

 

 

ADD 선택

 

 

2번노드 정보 입력

 

 

SSH connectivity 선택

 

 

Test 선택(수동 ssh 설정을 했기때문에 Setup은 진행하지 않음)

 

 

OK

 

 

ASM & Private로 선택

 

 

Use Oracle Flex ASM for storage 선택

 

 

No 선택

 

 

OCR_VOTE 입력 후 Normal 선택, disk 3개 선택

 

 

디스크가 안나올 경우 Change Discovery Path 선택 후 경로 입력 후 OK

 

 

공유 파일시스템 RAC 설치시 참고용

더보기

공유 파일시스템 RAC 설치시 참고용

 

 

패스워드 oracle 입력

 

 

Yes

 

 

Do not use IPMI 선택

 

 

EM 체크하지 않고 다음

 

 

그룹 dba로 선택

 

 

YES

 

 

oracle base 지정

 

 

Yes

 

 

oraInventory 지정

 

 

설치 중 root 권한으로 스크립트 실행하는 부분에서 자동로 스크립트 실행할지 여부 지정

root 패스워드 입력

 

 

사전 요구사항 체크중

 

 

물리 메로리를 4G로 설정해서 작다고 나오고

SCAN 관련메세지는 SCAN IP가 DNS에 등록되어 있지 않아서 발생한 문제

모두 Ignore

 

 

Yes

 

 

response 파일이 필요하다면 따로 저장 후 Install

 

 

grid 설치중

 

 

root 계정으로 스크립트  실행할 지 물어보는 메세지 Yes

 

 

grid 마저 설치중

 

 

SCAN IP가 DNS에 등록되어 있지 않아서 발생한 문제

무시 해도됨 OK

 

 

Next 선택

 

 

YES

 

 

Close 선택

 

 

grid 설치 후 점검

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
$ crsctl stat res -t
--------------------------------------------------------------------------------
Name           Target  State        Server                   State details       
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.LISTENER.lsnr
               ONLINE  ONLINE       oel19db1                 STABLE
               ONLINE  ONLINE       oel19db2                 STABLE
ora.chad
               ONLINE  ONLINE       oel19db1                 STABLE
               ONLINE  ONLINE       oel19db2                 STABLE
ora.net1.network
               ONLINE  ONLINE       oel19db1                 STABLE
               ONLINE  ONLINE       oel19db2                 STABLE
ora.ons
               ONLINE  ONLINE       oel19db1                 STABLE
               ONLINE  ONLINE       oel19db2                 STABLE
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.ASMNET1LSNR_ASM.lsnr(ora.asmgroup)
      1        ONLINE  ONLINE       oel19db1                 STABLE
      2        ONLINE  ONLINE       oel19db2                 STABLE
      3        OFFLINE OFFLINE                               STABLE
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       oel19db1                 STABLE
ora.OCR_VOTE.dg(ora.asmgroup)
      1        ONLINE  ONLINE       oel19db1                 STABLE
      2        OFFLINE OFFLINE                               STABLE
      3        OFFLINE OFFLINE                               STABLE
ora.asm(ora.asmgroup)
      1        ONLINE  ONLINE       oel19db1                 Started,STABLE
      2        ONLINE  ONLINE       oel19db2                 Started,STABLE
      3        OFFLINE OFFLINE                               STABLE
ora.asmnet1.asmnetwork(ora.asmgroup)
      1        ONLINE  ONLINE       oel19db1                 STABLE
      2        ONLINE  ONLINE       oel19db2                 STABLE
      3        OFFLINE OFFLINE                               STABLE
ora.cvu
      1        ONLINE  ONLINE       oel19db1                 STABLE
ora.oel19db1.vip
      1        ONLINE  ONLINE       oel19db1                 STABLE
ora.oel19db2.vip
      1        ONLINE  ONLINE       oel19db2                 STABLE
ora.qosmserver
      1        ONLINE  ONLINE       oel19db1                 STABLE
ora.scan1.vip
      1        ONLINE  ONLINE       oel19db1                 STABLE
--------------------------------------------------------------------------------

 

 

OCR_VOTE DISK 확인

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
$ ocrcheck
Status of Oracle Cluster Registry is as follows :
     Version                  :          4
     Total space (kbytes)     :     491684
     Used space (kbytes)      :      84140
     Available space (kbytes) :     407544
     ID                       :  973313079
     Device/File Name         :  +OCR_VOTE
                                    Device/File integrity check succeeded
 
                                    Device/File not configured
 
                                    Device/File not configured
 
                                    Device/File not configured
 
                                    Device/File not configured
 
     Cluster registry integrity check succeeded
 
     Logical corruption check bypassed due to non-privileged user

 

 

asmca, db 엔진 install, dbca 는 다음게시글에서 설명함

 

 

다음 게시글로 이동 

 

참조 : https://positivemh.tistory.com/521

https://positivemh.tistory.com/522
https://positivemh.tistory.com/523

https://dataforum.io/display/ORCL/Oracle+Database+19c+Real+Application+Cluster#OracleDatabase19cRealApplicationCluster-ASM%EB%94%94%EC%8A%A4%ED%81%AC%EA%B7%B8%EB%A3%B9%EC%B6%94%EA%B0%80