프린트 하기

OS 환경 : Oracle Linux 7.6 (64bit)

 

DB 환경 : Oracle Database 11.2.0.4

 

에러 : ORA-15307: disk IMSIOCR1 not discoverable by CSS; diskgroup IMSIOCR has CSS voting files

11g grid 설치중 1번노드 root.sh 단계에서 발생한 에러

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
/app/grid/11g/root.sh
Performing root user operation for Oracle 11g
 
The following environment variables are set as:
    ORACLE_OWNER= oracle
    ORACLE_HOME=  /app/grid/11g
 
Enter the full pathname of the local bin directory: [/usr/local/bin]:
The contents of "dbhome" have not changed. No need to overwrite.
The contents of "oraenv" have not changed. No need to overwrite.
The contents of "coraenv" have not changed. No need to overwrite.
 
 
Creating /etc/oratab file...
Entries will be added to the /etc/oratab file as needed by
Database Configuration Assistant when a database is created
Finished running generic part of root script.
Now product-specific root actions will be performed.
Using configuration parameter file: /app/grid/11g/crs/install/crsconfig_params
Creating trace directory
User ignored Prerequisites during installation
Installing Trace File Analyzer
OLR initialization - successful
  root wallet
  root wallet cert
  root cert export
  peer wallet
  profile reader wallet
  pa wallet
  peer wallet keys
  pa wallet keys
  peer cert request
  pa cert request
  peer cert
  pa cert
  peer root cert TP
  profile reader root cert TP
  pa root cert TP
  peer pa cert TP
  pa peer cert TP
  profile reader pa cert TP
  profile reader peer cert TP
  peer user cert
  pa user cert
Adding Clusterware entries to oracle-ohasd.service
CRS-2672: Attempting to start 'ora.mdnsd' on 'oel11db1'
CRS-2676: Start of 'ora.mdnsd' on 'oel11db1' succeeded
CRS-2672: Attempting to start 'ora.gpnpd' on 'oel11db1'
CRS-2676: Start of 'ora.gpnpd' on 'oel11db1' succeeded
CRS-2672: Attempting to start 'ora.cssdmonitor' on 'oel11db1'
CRS-2672: Attempting to start 'ora.gipcd' on 'oel11db1'
CRS-2676: Start of 'ora.cssdmonitor' on 'oel11db1' succeeded
CRS-2676: Start of 'ora.gipcd' on 'oel11db1' succeeded
CRS-2672: Attempting to start 'ora.cssd' on 'oel11db1'
CRS-2672: Attempting to start 'ora.diskmon' on 'oel11db1'
CRS-2676: Start of 'ora.diskmon' on 'oel11db1' succeeded
CRS-2676: Start of 'ora.cssd' on 'oel11db1' succeeded
 
Disk Group IMSIOCR creation failed with the following message:
ORA-15018: diskgroup cannot be created
ORA-15307: disk IMSIOCR1 not discoverable by CSS; diskgroup IMSIOCR has CSS voting files
 
 
Configuration of ASM ... failed
see asmca logs at /app/oracle/cfgtoollogs/asmca for details
Did not succssfully configure and start ASM at /app/grid/11g/crs/install/crsconfig_lib.pm line 6912.
/app/grid/11g/perl/bin/perl -I/app/grid/11g/perl/lib -I/app/grid/11g/crs/install /app/grid/11g/crs/install/rootcrs.pl execution failed

 

 

해결 방법 : deconfig 후 ocr용 디스크 초기화 후 재시도

1번노드 grid 홈에 가서 deinstall 진행

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
$ cd $GRID_HOME/deinstall
$ ./deinstall
Checking for required files and bootstrapping ...
Please wait ...
Location of logs /tmp/deinstall2025-06-06_07-40-25PM/logs/
 
############ ORACLE DEINSTALL & DECONFIG TOOL START ############
 
 
######################### CHECK OPERATION START #########################
## [START] Install check configuration ##
 
 
Checking for existence of the Oracle home location /app/grid/11g
Oracle Home type selected for deinstall is: Oracle Grid Infrastructure for a Cluster
Oracle Base selected for deinstall is: /app/oracle
Checking for existence of central inventory location /app/oraInventory
Checking for existence of the Oracle Grid Infrastructure home /app/grid/11g
The following nodes are part of this cluster: oel11db1,oel11db2
Checking for sufficient temp space availability on node(s) : 'oel11db1,oel11db2'
 
## [END] Install check configuration ##
 
Traces log file: /tmp/deinstall2025-06-06_07-40-25PM/logs//crsdc.log
Enter an address or the name of the virtual IP used on node "oel11db1"[oel11db1-vip]
 >
 
The following information can be collected by running "/sbin/ifconfig -a" on node "oel11db1"
Enter the IP netmask of Virtual IP "192.168.137.100" on node "oel11db1"[255.255.255.0]
 >
 
Enter the network interface name on which the virtual IP address "192.168.137.100" is active
 >
 
Enter an address or the name of the virtual IP used on node "oel11db2"[oel11db2-vip]
 >
 
The following information can be collected by running "/sbin/ifconfig -a" on node "oel11db2"
Enter the IP netmask of Virtual IP "192.168.137.200" on node "oel11db2"[255.255.255.0]
 >
 
Enter the network interface name on which the virtual IP address "192.168.137.200" is active
 >
 
Enter an address or the name of the virtual IP[]
 >
 
 
Network Configuration check config START
 
Network de-configuration trace file location: /tmp/deinstall2025-06-06_07-40-25PM/logs/netdc_check2025-06-06_07-40-39-PM.log
 
Network Configuration check config END
 
Asm Check Configuration START
 
ASM de-configuration trace file location: /tmp/deinstall2025-06-06_07-40-25PM/logs/asmcadc_check2025-06-06_07-40-39-PM.log
 
ASM configuration was not detected in this Oracle home. Was ASM configured in this Oracle home (y|n) [n]: y
Automatic Storage Management (ASM) instance is detected in this Oracle home /app/grid/11g.
ASM Diagnostic Destination : /app/oracle
ASM Diskgroups :
ASM diskstring : <Default>
Diskgroups will not be dropped
 If you want to retain the existing diskgroups or if any of the information detected is incorrect, you can modify by entering 'y'. Do you  want to modify above information (y|n) [n]: y
Specify the ASM Diagnostic Destination [/app/oracle]:
Specify the diskstring []:
Specify the diskgroups that are managed by this ASM instance []:
 
 
######################### CHECK OPERATION END #########################
 
 
####################### CHECK OPERATION SUMMARY #######################
Oracle Grid Infrastructure Home is: /app/grid/11g
The cluster node(s) on which the Oracle home deinstallation will be performed are:oel11db1,oel11db2
Oracle Home selected for deinstall is: /app/grid/11g
Inventory Location where the Oracle home registered is: /app/oraInventory
ASM instance will be de-configured from this Oracle home
Do you want to continue (y - yes, n - no)? [n]: y
A log of this session will be written to: '/tmp/deinstall2025-06-06_07-40-25PM/logs/deinstall_deconfig2025-06-06_07-40-27-PM.out'
Any error messages from this session will be written to: '/tmp/deinstall2025-06-06_07-40-25PM/logs/deinstall_deconfig2025-06-06_07-40-27-PM.err'
 
######################## CLEAN OPERATION START ########################
ASM de-configuration trace file location: /tmp/deinstall2025-06-06_07-40-25PM/logs/asmcadc_clean2025-06-06_07-40-54-PM.log
ASM Clean Configuration START
ASM Clean Configuration END
 
Network Configuration clean config START
 
Network de-configuration trace file location: /tmp/deinstall2025-06-06_07-40-25PM/logs/netdc_clean2025-06-06_07-40-55-PM.log
 
De-configuring Naming Methods configuration file on all nodes...
Naming Methods configuration file de-configured successfully.
 
De-configuring Local Net Service Names configuration file on all nodes...
Local Net Service Names configuration file de-configured successfully.
 
De-configuring Directory Usage configuration file on all nodes...
Directory Usage configuration file de-configured successfully.
 
De-configuring backup files on all nodes...
Backup files de-configured successfully.
 
The network configuration has been cleaned up successfully.
 
Network Configuration clean config END
 
 
---------------------------------------->
 
The deconfig command below can be executed in parallel on all the remote nodes. Execute the command on  the local node after the execution completes on all the remote nodes.
 
Run the following command as the root user or the administrator on node "oel11db1".
 
/tmp/deinstall2025-06-06_07-40-25PM/perl/bin/perl -I/tmp/deinstall2025-06-06_07-40-25PM/perl/lib -I/tmp/deinstall2025-06-06_07-40-25PM/crs/install /tmp/deinstall2025-06-06_07-40-25PM/crs/install/rootcrs.pl -force  -deconfig -paramfile "/tmp/deinstall2025-06-06_07-40-25PM/response/deinstall_Ora11g_gridinfrahome1.rsp" -lastnode
 
위 스크립트 해당 노드에서 루트 유저로 수행 후 엔터
Press Enter after you finish running the above commands
 
<----------------------------------------
/tmp/deinstall2025-06-06_07-40-25PM/perl/bin/perl -I/tmp/deinstall2025-06-06_07-40-25PM/perl/lib -I/tmp/deinstall2025-06-06_07-40-25PM/crs/install /tmp/deinstall2025-06-06_07-40-25PM/crs/install/rootcrs.pl -force  -deconfig -paramfile "/tmp/deinstall2025-06-06_07-40-25PM/response/deinstall_Ora11g_gridinfrahome1.rsp" -lastnode
 
---------------------------------------->
 
The deconfig command below can be executed in parallel on all the remote nodes. Execute the command on  the local node after the execution completes on all the remote nodes.
 
Press Enter after you finish running the above commands
 
<----------------------------------------
 
Setting the force flag to false
Setting the force flag to cleanup the Oracle Base
Oracle Universal Installer clean START
 
Detach Oracle home '/app/grid/11g' from the central inventory on the local node : Done
 
Delete directory '/app/grid/11g' on the local node : Done
 
Delete directory '/app/oraInventory' on the local node : Done
 
The Oracle Base directory '/app/oracle' will not be removed on local node. The directory is not empty.
 
Detach Oracle home '/app/grid/11g' from the central inventory on the remote nodes 'oel11db2' : Done
 
Delete directory '/app/grid/11g' on the remote nodes 'oel11db2' : Done
 
Delete directory '/app/oraInventory' on the remote nodes 'oel11db2' : Done
 
The Oracle Base directory '/app/oracle' will not be removed on node 'oel11db2'. The directory is not empty.
 
Oracle Universal Installer cleanup was successful.
 
Oracle Universal Installer clean END
 
 
## [START] Oracle install clean ##
 
Clean install operation removing temporary directory '/tmp/deinstall2025-06-06_07-40-25PM' on node 'oel11db1'
Clean install operation removing temporary directory '/tmp/deinstall2025-06-06_07-40-25PM' on node 'oel11db2'
 
## [END] Oracle install clean ##
 
 
######################### CLEAN OPERATION END #########################
 
 
####################### CLEAN OPERATION SUMMARY #######################
ASM instance was de-configured successfully from the Oracle home
Oracle Clusterware is stopped and successfully de-configured on node "oel11db1"
Oracle Clusterware is stopped and de-configured successfully.
Successfully detached Oracle home '/app/grid/11g' from the central inventory on the local node.
Successfully deleted directory '/app/grid/11g' on the local node.
Successfully deleted directory '/app/oraInventory' on the local node.
Successfully detached Oracle home '/app/grid/11g' from the central inventory on the remote nodes 'oel11db2'.
Successfully deleted directory '/app/grid/11g' on the remote nodes 'oel11db2'.
Successfully deleted directory '/app/oraInventory' on the remote nodes 'oel11db2'.
Oracle Universal Installer cleanup was successful.
 
 
Run 'rm -rf /etc/oraInst.loc' as root on node(s) 'oel11db1,oel11db2' at the end of the session.
 
Run 'rm -rf /opt/ORCLfmap' as root on node(s) 'oel11db1,oel11db2' at the end of the session.
Run 'rm -rf /etc/oratab' as root on node(s) 'oel11db1' at the end of the session.
Oracle deinstall tool successfully cleaned up temporary directories.
#######################################################################
 
 
############# ORACLE DEINSTALL & DECONFIG TOOL END #############

 

 

asm 디스크 확인

1
2
3
4
# oracleasm listdisks
IMSIOCR1
IMSIOCR2
IMSIOCR3

 

 

ocr용 ams 디스크 제거

1
2
3
4
5
6
7
8
9
# oracleasm deletedisk IMSIOCR1
Clearing disk header: done
Dropping disk: done
# oracleasm deletedisk IMSIOCR2
Clearing disk header: done
Dropping disk: done
# oracleasm deletedisk IMSIOCR3
Clearing disk header: done
Dropping disk: done

 

 

ocr용 raw 디스크 초기화

1
2
3
4
5
6
7
8
9
10
11
12
# dd if=/dev/zero of=/dev/11g_oradisk/imsiocr1 bs=1048576 count=50
50+0 records in
50+0 records out
52428800 bytes (52 MB) copied, 0.0722229 s, 726 MB/s
# dd if=/dev/zero of=/dev/11g_oradisk/imsiocr2 bs=1048576 count=50
50+0 records in
50+0 records out
52428800 bytes (52 MB) copied, 0.0615454 s, 852 MB/s
# dd if=/dev/zero of=/dev/11g_oradisk/imsiocr3 bs=1048576 count=50
50+0 records in
50+0 records out
52428800 bytes (52 MB) copied, 0.0612575 s, 856 MB/s

 

 

asm 디스크 생성

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
# oracleasm createdisk IMSIOCR1 /dev/11g_oradisk/imsiocr1
Writing disk header: done
Instantiating disk: done
# oracleasm createdisk IMSIOCR2 /dev/11g_oradisk/imsiocr2
Writing disk header: done
Instantiating disk: done
# oracleasm createdisk IMSIOCR3 /dev/11g_oradisk/imsiocr3
Writing disk header: done
Instantiating disk: done
 
# oracleasm scandisks
Reloading disk partitions: done
Cleaning any stale ASM disks...
Scanning system for ASM disks...
 
# oracleasm listdisks
IMSIOCR1
IMSIOCR2
IMSIOCR3
 
# ll /dev/oracleasm/disks/
total 0
brw-rw---- 1 oracle dba 252, 22 Jun  6 19:49 IMSIOCR1
brw-rw---- 1 oracle dba 252, 23 Jun  6 19:49 IMSIOCR2
brw-rw---- 1 oracle dba 252, 24 Jun  6 19:49 IMSIOCR3

 

 

cvu 패키지 재설치 후 grid 재설치

1
2
3
$ cd /app/oracle/media/grid/
$ ./runInstaller
Starting Oracle Universal Installer...

 

 

root.sh 실행전 oel7에 11g 설치라 patch도 필요함

참고 : 11gR2 Grid install – Error: ohasd failed to start the Clusterware. ( https://positivemh.tistory.com/122 )

 

 

패치 후 root.sh 시 로그

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
/app/grid/11g/root.sh
Performing root user operation for Oracle 11g
 
The following environment variables are set as:
    ORACLE_OWNER= oracle
    ORACLE_HOME=  /app/grid/11g
 
Enter the full pathname of the local bin directory: [/usr/local/bin]:
The contents of "dbhome" have not changed. No need to overwrite.
The contents of "oraenv" have not changed. No need to overwrite.
The contents of "coraenv" have not changed. No need to overwrite.
 
 
Creating /etc/oratab file...
Entries will be added to the /etc/oratab file as needed by
Database Configuration Assistant when a database is created
Finished running generic part of root script.
Now product-specific root actions will be performed.
Using configuration parameter file: /app/grid/11g/crs/install/crsconfig_params
Creating trace directory
User ignored Prerequisites during installation
Installing Trace File Analyzer
OLR initialization - successful
  root wallet
  root wallet cert
  root cert export
  peer wallet
  profile reader wallet
  pa wallet
  peer wallet keys
  pa wallet keys
  peer cert request
  pa cert request
  peer cert
  pa cert
  peer root cert TP
  profile reader root cert TP
  pa root cert TP
  peer pa cert TP
  pa peer cert TP
  profile reader pa cert TP
  profile reader peer cert TP
  peer user cert
  pa user cert
Adding Clusterware entries to oracle-ohasd.service
CRS-2672: Attempting to start 'ora.mdnsd' on 'oel11db1'
CRS-2676: Start of 'ora.mdnsd' on 'oel11db1' succeeded
CRS-2672: Attempting to start 'ora.gpnpd' on 'oel11db1'
CRS-2676: Start of 'ora.gpnpd' on 'oel11db1' succeeded
CRS-2672: Attempting to start 'ora.cssdmonitor' on 'oel11db1'
CRS-2672: Attempting to start 'ora.gipcd' on 'oel11db1'
CRS-2676: Start of 'ora.cssdmonitor' on 'oel11db1' succeeded
CRS-2676: Start of 'ora.gipcd' on 'oel11db1' succeeded
CRS-2672: Attempting to start 'ora.cssd' on 'oel11db1'
CRS-2672: Attempting to start 'ora.diskmon' on 'oel11db1'
CRS-2676: Start of 'ora.diskmon' on 'oel11db1' succeeded
CRS-2676: Start of 'ora.cssd' on 'oel11db1' succeeded
 
ASM created and started successfully.
 
Disk Group IMSIOCR created successfully.
 
clscfg: -install mode specified
Successfully accumulated necessary OCR keys.
Creating OCR keys for user 'root', privgrp 'root'..
Operation successful.
CRS-4256: Updating the profile
Successful addition of voting disk ab7df8db23124f20bf43cb8dc985061d.
Successfully replaced voting disk group with +IMSIOCR.
CRS-4256: Updating the profile
CRS-4266: Voting file(s) successfully replaced
##  STATE    File Universal Id                File Name Disk group
--  -----    -----------------                --------- ---------
 1. ONLINE   ab7df8db23124f20bf43cb8dc985061d (ORCL:IMSIOCR1) [IMSIOCR]
Located 1 voting disk(s).
CRS-2672: Attempting to start 'ora.IMSIOCR.dg' on 'oel11db1'
CRS-2676: Start of 'ora.IMSIOCR.dg' on 'oel11db1' succeeded
Configure Oracle Grid Infrastructure for a Cluster ... succeeded

정상적으로 root.sh 도 실행됨

 

 

원인 : 디스크 초기화 문제

아마 이전에 설치했을때의 흔적이 디스크 헤더블록에 남아있었을 가능성이 있음

이부분을 모두 깔끔하게 지워준뒤 다시 실행하면 본문처럼 정상적으로 설치가 가능함

 

 

참조 :