Oracle Clusterware 使用中にノード間のインターコネクト通信や投票ディスクを用いたI/Oに問題が発生した際に出力されるログと、発生する症状についていくつかのパターンをまとめてみる。
2ノードのクラスタ構成(RAC)で、ホスト名はノード1 : rac19n1、ノード2 : rac19n2である。
普通にOSを再起動した場合
まず、特に障害が起こったわけではなく、特定のノードを普通にOS再起動した場合の出力から。
ノード1を再起動すると、ノード2のアラートログには以下が出力される。単にノードが停止した、というだけで障害として検知されている様子ではない。
2023-07-30 16:17:29.860 [OCSSD(4786)]CRS-1625: ノードrac19n1、番号1が停止されました
2023-07-30 16:17:29.972 [OCSSD(4786)]CRS-1601: CSSDの再構成が完了しました。アクティブ・ノードはrac19n2 です。
2023-07-30 16:17:29.974 [CRSD(5815)]CRS-5504: ノード'rac19n1'について、ノード・ダウン・イベントが報告されました。
インターコネクトLANが切断された場合
両ノードでインターコネクトLANのケーブルが切断されたことを想定。具体的には 2023-07-30 16:25 に切断している。
ノード1のアラートログには、30秒間通信の復旧を待った後、ノード2をクラスタから排除した旨の出力が行われる。
2023-07-30 16:25:15.762 [OCSSD(4830)]CRS-1612: タイムアウト間隔の50%で、ノードrac19n2(2)のネットワーク通信がありません。この状態が続く場合、クラスタからのこのノードの削除が14.890秒内に行われます
:
2023-07-30 16:25:23.763 [OCSSD(4830)]CRS-1611: タイムアウト間隔の75%で、ノードrac19n2(2)のネットワーク通信がありません。この状態が続く場合、クラスタからのこのノードの削除が6.890秒内に行われます
:
2023-07-30 16:25:27.764 [OCSSD(4830)]CRS-1610: タイムアウト間隔の90%で、ノードrac19n2(2)のネットワーク通信がありません。この状態が続く場合、クラスタからのこのノードの削除が2.890秒内に行われます
:
2023-07-30 16:25:31.682 [OCSSD(4830)]CRS-1607: ノードrac19n2はクラスタ・インカーネーション586186961によって削除されました。詳細は(:CSSNM00007:)(/u01/app/grid/diag/crs/rac19n1/crs/trace/ocssd.trc)を参照してください。
:
2023-07-30 16:25:36.705 [OCSSD(4830)]CRS-1601: CSSDの再構成が完了しました。アクティブ・ノードはrac19n1 です。
2023-07-30 16:25:36.728 [OCTSSD(5620)]CRS-2407: 新しいクラスタ時刻同期化サービスの参照ノードはホストrac19n1です。
:
2023-07-30 16:25:38.036 [CRSD(5782)]CRS-5504: ノード'rac19n2'について、ノード・ダウン・イベントが報告されました。ノード2のアラートログには、最初はノード1をクラスタから排除するという出力があるが、最終的には自分が死ぬことを決定し、CSSDを再起動したことを示す出力が行われる。OSの再起動には至らない。
2023-07-30 16:25:15.902 [OCSSD(4786)]CRS-1612: タイムアウト間隔の50%で、ノードrac19n1(1)のネットワーク通信がありません。この状態が続く場合、クラスタからのこのノードの削除が14.910秒内に行われます
:
2023-07-30 16:25:23.903 [OCSSD(4786)]CRS-1611: タイムアウト間隔の75%で、ノードrac19n1(1)のネットワーク通信がありません。この状態が続く場合、クラスタからのこのノードの削除が6.910秒内に行われます
:
2023-07-30 16:25:27.904 [OCSSD(4786)]CRS-1610: タイムアウト間隔の90%で、ノードrac19n1(1)のネットワーク通信がありません。この状態が続く場合、クラスタからのこのノードの削除が2.910秒内に行われます
:
2023-07-30 16:25:31.323 [OCSSD(4786)]CRS-1609: このノードはクラスタ内の他のノードとは通信できず、クラスタ整合性を保つため停止します。詳細は(:CSSNM00008:)(/u01/app/grid/diag/crs/rac19n2/crs/trace/ocssd.trc)を参照してください。
2023-07-30 16:25:31.323 [OCSSD(4786)]CRS-1656: 致命的なエラーのためCSSデーモンを停止中です。詳細は(:CSSSC00012:)(/u01/app/grid/diag/crs/rac19n2/crs/trace/ocssd.trc)を参照してください
2023-07-30 16:25:31.336 [OCSSD(4786)]CRS-1652: CRSDリソースのクリーンアップを開始しています。
:
2023-07-30 16:25:34.512 [OCSSD(4786)]CRS-1654: CRSDリソースのクリーンアップが正常に完了しました。
2023-07-30 16:25:34.527 [OCSSD(4786)]CRS-1655: ノードrac19n2のCSSDで問題を検出し、停止を開始しました。
:
2023-07-30 16:25:41.431 [OCSSD(11991)]CRS-8500: Oracle Clusterware OCSSDプロセスをオペレーティング・システム・プロセスID 11991で開始しています
投票ディスクにアクセスできなくなった場合
ノード1の投票ディスクが切断されたことを想定。具体的には 2023-07-30 16:45 にiSCSIのネットワークを切断している。
ノード1のアラートログには以下の出力が行われる。投票ディスクの場合、約3分でCSSDの再起動が走る。OSの再起動には至らない。
2023-07-30 16:46:41.915 [OCSSD(4793)]CRS-1615: 間隔上限の50%以降に完了したI/Oがありません。この状態が続く場合、投票ファイルAFD:OCR1は99260ミリ秒間機能しないとみなされます。
2023-07-30 16:46:41.915 [OCSSD(4793)]CRS-1615: 間隔上限の50%以降に完了したI/Oがありません。この状態が続く場合、投票ファイルAFD:OCR2は99260ミリ秒間機能しないとみなされます。
2023-07-30 16:46:41.916 [OCSSD(4793)]CRS-1615: 間隔上限の50%以降に完了したI/Oがありません。この状態が続く場合、投票ファイルAFD:OCR3は99260ミリ秒間機能しないとみなされます。
:
2023-07-30 16:47:11.622 [OCSSD(4793)]CRS-1649: 投票ファイルでI/Oエラーが発生しました: AFD:OCR2。詳細は(:CSSNM00060:)(/u01/app/grid/diag/crs/rac19n1/crs/trace/ocssd.trc)を参照してください。
2023-07-30 16:47:11.622 [OCSSD(4793)]CRS-1649: 投票ファイルでI/Oエラーが発生しました: AFD:OCR2。詳細は(:CSSNM00059:)(/u01/app/grid/diag/crs/rac19n1/crs/trace/ocssd.trc)を参照してください。
2023-07-30 16:47:11.626 [OCSSD(4793)]CRS-1649: 投票ファイルでI/Oエラーが発生しました: AFD:OCR3。詳細は(:CSSNM00060:)(/u01/app/grid/diag/crs/rac19n1/crs/trace/ocssd.trc)を参照してください。
2023-07-30 16:47:11.626 [OCSSD(4793)]CRS-1649: 投票ファイルでI/Oエラーが発生しました: AFD:OCR1。詳細は(:CSSNM00060:)(/u01/app/grid/diag/crs/rac19n1/crs/trace/ocssd.trc)を参照してください。
2023-07-30 16:47:11.626 [OCSSD(4793)]CRS-1649: 投票ファイルでI/Oエラーが発生しました: AFD:OCR3。詳細は(:CSSNM00059:)(/u01/app/grid/diag/crs/rac19n1/crs/trace/ocssd.trc)を参照してください。
2023-07-30 16:47:11.626 [OCSSD(4793)]CRS-1649: 投票ファイルでI/Oエラーが発生しました: AFD:OCR1。詳細は(:CSSNM00059:)(/u01/app/grid/diag/crs/rac19n1/crs/trace/ocssd.trc)を参照してください。
:
2023-07-30 16:47:31.339 [OCSSD(4793)]CRS-1614: 間隔上限の75%以降に完了したI/Oがありません。この状態が続く場合、投票ファイルAFD:OCR1は49840ミリ秒間機能しないとみなされます。
2023-07-30 16:47:31.339 [OCSSD(4793)]CRS-1614: 間隔上限の75%以降に完了したI/Oがありません。この状態が続く場合、投票ファイルAFD:OCR2は49840ミリ秒間機能しないとみなされます。
2023-07-30 16:47:31.339 [OCSSD(4793)]CRS-1614: 間隔上限の75%以降に完了したI/Oがありません。この状態が続く場合、投票ファイルAFD:OCR3は49840ミリ秒間機能しないとみなされます。
:
2023-07-30 16:48:01.342 [OCSSD(4793)]CRS-1613: 間隔上限の90%以降に完了したI/Oがありません。この状態が続く場合、投票ファイルAFD:OCR1は19830ミリ秒間機能しないとみなされます。
2023-07-30 16:48:01.343 [OCSSD(4793)]CRS-1613: 間隔上限の90%以降に完了したI/Oがありません。この状態が続く場合、投票ファイルAFD:OCR2は19830ミリ秒間機能しないとみなされます。
2023-07-30 16:48:01.343 [OCSSD(4793)]CRS-1613: 間隔上限の90%以降に完了したI/Oがありません。この状態が続く場合、投票ファイルAFD:OCR3は19830ミリ秒間機能しないとみなされます。
:
2023-07-30 16:48:21.345 [OCSSD(4793)]CRS-1604: CSSD投票ファイルがオフラインです: AFD:OCR1。詳細は(:CSSNM00058:)(/u01/app/grid/diag/crs/rac19n1/crs/trace/ocssd.trc)を参照してください。
2023-07-30 16:48:21.345 [OCSSD(4793)]CRS-1604: CSSD投票ファイルがオフラインです: AFD:OCR2。詳細は(:CSSNM00058:)(/u01/app/grid/diag/crs/rac19n1/crs/trace/ocssd.trc)を参照してください。
2023-07-30 16:48:21.346 [OCSSD(4793)]CRS-1604: CSSD投票ファイルがオフラインです: AFD:OCR3。詳細は(:CSSNM00058:)(/u01/app/grid/diag/crs/rac19n1/crs/trace/ocssd.trc)を参照してください。
2023-07-30 16:48:21.346 [OCSSD(4793)]CRS-1606: 使用可能な投票ファイル数0は必要な投票ファイル数の下限を下回っています。CSSD中断の結果、2によりデータの整合性が保たれます。詳細は(:CSSNM00018:)(/u01/app/grid/diag/crs/rac19n1/crs/trace/ocssd.trc)を参照してください
2023-07-30 16:48:21.349 [OCSSD(4793)]CRS-1656: 致命的なエラーのためCSSデーモンを停止中です。詳細は(:CSSSC00012:)(/u01/app/grid/diag/crs/rac19n1/crs/trace/ocssd.trc)を参照してください
2023-07-30 16:48:21.361 [OCSSD(4793)]CRS-1652: CRSDリソースのクリーンアップを開始しています。
:
023-07-30 16:48:23.108 [OCSSD(4793)]CRS-1654: CRSDリソースのクリーンアップが正常に完了しました。
2023-07-30 16:48:23.114 [OCSSD(4793)]CRS-1655: ノードrac19n1のCSSDで問題を検出し、停止を開始しました。
:
2023-07-30 16:48:29.030 [OCSSD(24304)]CRS-8500: Oracle Clusterware OCSSDプロセスをオペレーティング・システム・プロセスID 24304で開始しています
ノード2のアラートログにはノード1が停止した旨の出力が行われるのみ。
2023-07-30 16:48:25.279 [OCSSD(4793)]CRS-1625: ノードrac19n1、番号1が停止されました
2023-07-30 16:48:25.409 [OCSSD(4793)]CRS-1601: CSSDの再構成が完了しました。アクティブ・ノードはrac19n2 です。
2023-07-30 16:48:25.419 [CRSD(5927)]CRS-5504: ノード'rac19n1'について、ノード・ダウン・イベントが報告されました。
投票ディスクとインターコネクトLAN両方が切断された場合
12:47にインターコネクトLANと共有ディスクのiSCSIネットワークを切断している。
ノード1のアラートログには以下のメッセージ出力が行われる。インターコネクトLANと投票ディスクの両方へのアクセスエラーが出ており、CSSDの応答がない状態となった結果、OS再起動に至っている。
2023-07-30 12:48:16.493 [OCSSD(4821)]CRS-1612: タイムアウト間隔の50%で、ノードrac19n2(2)のネットワーク通信がありません。この状態が続く場合、クラスタからのこのノードの削除が14.320秒内に行われます
:
2023-07-30 12:48:17.004 [OCSSD(4821)]CRS-1615: 間隔上限の50%以降に完了したI/Oがありません。この状態が続く場合、投票ファイルAFD:OCR1は10680ミリ秒間機能しないとみなされます。
2023-07-30 12:48:17.004 [OCSSD(4821)]CRS-1615: 間隔上限の50%以降に完了したI/Oがありません。この状態が続く場合、投票ファイルAFD:OCR2は10680ミリ秒間機能しないとみなされます。
2023-07-30 12:48:17.004 [OCSSD(4821)]CRS-1615: 間隔上限の50%以降に完了したI/Oがありません。この状態が続く場合、投票ファイルAFD:OCR3は10690ミリ秒間機能しないとみなされます。
:
2023-07-30 12:48:20.984 [OCSSD(4821)]CRS-1614: 間隔上限の75%以降に完了したI/Oがありません。この状態が続く場合、投票ファイルAFD:OCR1は6700ミリ秒間機能しないとみなされます。
2023-07-30 12:48:20.985 [OCSSD(4821)]CRS-1614: 間隔上限の75%以降に完了したI/Oがありません。この状態が続く場合、投票ファイルAFD:OCR2は6700ミリ秒間機能しないとみなされます。
2023-07-30 12:48:20.985 [OCSSD(4821)]CRS-1614: 間隔上限の75%以降に完了したI/Oがありません。この状態が続く場合、投票ファイルAFD:OCR3は6700ミリ秒間機能しないとみなされます。
:
2023-07-30 12:48:23.494 [OCSSD(4821)]CRS-1611: タイムアウト間隔の75%で、ノードrac19n2(2)のネットワーク通信がありません。この状態が続く場合、クラスタからのこのノードの削除が7.320秒内に行われます
:
2023-07-30 12:48:25.975 [OCSSD(4821)]CRS-1613: 間隔上限の90%以降に完了したI/Oがありません。この状態が続く場合、投票ファイルAFD:OCR1は1700ミリ秒間機能しないとみなされます。
2023-07-30 12:48:25.975 [OCSSD(4821)]CRS-1613: 間隔上限の90%以降に完了したI/Oがありません。この状態が続く場合、投票ファイルAFD:OCR2は1700ミリ秒間機能しないとみなされます。
2023-07-30 12:48:25.976 [OCSSD(4821)]CRS-1613: 間隔上限の90%以降に完了したI/Oがありません。この状態が続く場合、投票ファイルAFD:OCR3は1710ミリ秒間機能しないとみなされます。
:
2023-07-30 12:48:27.975 [OCSSD(4821)]CRS-1604: CSSD投票ファイルがオフラインです: AFD:OCR1。詳細は(:CSSNM00058:)(/u01/app/grid/diag/crs/rac19n1/crs/trace/ocssd.trc)を参照してください。
2023-07-30 12:48:27.976 [OCSSD(4821)]CRS-1604: CSSD投票ファイルがオフラインです: AFD:OCR2。詳細は(:CSSNM00058:)(/u01/app/grid/diag/crs/rac19n1/crs/trace/ocssd.trc)を参照してください。
2023-07-30 12:48:27.976 [OCSSD(4821)]CRS-1604: CSSD投票ファイルがオフラインです: AFD:OCR3。詳細は(:CSSNM00058:)(/u01/app/grid/diag/crs/rac19n1/crs/trace/ocssd.trc)を参照してください。
2023-07-30 12:48:27.976 [OCSSD(4821)]CRS-1606: 使用可能な投票ファイル数0は必要な投票ファイル数の下限を下回っています。CSSD中断の結果、2によりデータの整合性が保たれます。詳細は(:CSSNM00018:)(/u01/app/grid/diag/crs/rac19n1/crs/trace/ocssd.trc)を参照してください
2023-07-30 12:48:27.981 [OCSSD(4821)]CRS-1656: 致命的なエラーのためCSSデーモンを停止中です。詳細は(:CSSSC00012:)(/u01/app/grid/diag/crs/rac19n1/crs/trace/ocssd.trc)を参照してください
2023-07-30 12:48:27.992 [OCSSD(4821)]CRS-1652: CRSDリソースのクリーンアップを開始しています。
2023-07-30 12:48:28.077 [CRSD(6038)]CRS-2758: リソース'ora.asmnet1.asmnetwork'は不明状態です。
2023-07-30 12:48:28.077 [CRSD(6038)]CRS-2878: リソース'ora.asmnet1.asmnetwork'の再起動に失敗しました
2023-07-30 12:48:28.078 [CRSD(6038)]CRS-2769: リソースora.asmnet1.asmnetworkをフェイルオーバーできません。
2023-07-30 12:48:28.078 [CRSD(6038)]CRS-2769: リソースora.asmnet1.asmnetworkをフェイルオーバーできません。
2023-07-30 12:48:28.490 [CSSDMONITOR(4333)]CRS-1661: CSSデーモンが応答していません。この状態が続く場合、819ミリ秒以内に再起動します。詳細は(:CLSN00121:)(/u01/app/grid/diag/crs/rac19n1/crs/trace/ohasd_cssdmonitor_root.trc)を参照してください。
2023-07-30 12:48:28.490 [CSSDAGENT(4784)]CRS-1661: CSSデーモンが応答していません。この状態が続く場合、820ミリ秒以内に再起動します。詳細は(:CLSN00121:)(/u01/app/grid/diag/crs/rac19n1/crs/trace/ohasd_cssdagent_root.trc)を参照してください。
2023-07-30 12:48:28.495 [OCSSD(4821)]CRS-1610: タイムアウト間隔の90%で、ノードrac19n2(2)のネットワーク通信がありません。この状態が続く場合、クラスタからのこのノードの削除が2.310秒内に行われます
2023-07-30 12:48:28.790 [CSSDMONITOR(4333)]CRS-1661: CSSデーモンが応答していません。この状態が続く場合、519ミリ秒以内に再起動します。詳細は(:CLSN00121:)(/u01/app/grid/diag/crs/rac19n1/crs/trace/ohasd_cssdmonitor_root.trc)を参照してください。
2023-07-30 12:48:28.790 [CSSDAGENT(4784)]CRS-1661: CSSデーモンが応答していません。この状態が続く場合、520ミリ秒以内に再起動します。詳細は(:CLSN00121:)(/u01/app/grid/diag/crs/rac19n1/crs/trace/ohasd_cssdagent_root.trc)を参照してください。
2023-07-30 12:48:28.890 [CSSDMONITOR(4333)]CRS-1661: CSSデーモンが応答していません。この状態が続く場合、419ミリ秒以内に再起動します。詳細は(:CLSN00121:)(/u01/app/grid/diag/crs/rac19n1/crs/trace/ohasd_cssdmonitor_root.trc)を参照してください。
2023-07-30 12:48:29.090 [CSSDMONITOR(4333)]CRS-1661: CSSデーモンが応答していません。この状態が続く場合、219ミリ秒以内に再起動します。詳細は(:CLSN00121:)(/u01/app/grid/diag/crs/rac19n1/crs/trace/ohasd_cssdmonitor_root.trc)を参照してください。
OS再起動後に、アラートログには再起動アドバイザの出力がある。
2023-07-30 12:50:55.150 [OHASD(2487)]CRS-8500: Oracle Clusterware OHASDプロセスをオペレーティング・システム・プロセスID 2487で開始しています
2023-07-30 12:50:55.301 [OHASD(2487)]CRS-0714: Oracle Clusterwareリリース19.0.0.0.0。
2023-07-30 12:50:55.374 [OHASD(2487)]CRS-2112: OLRサービスがノードrac19n1で起動されました。
2023-07-30 12:50:55.658 [OHASD(2487)]CRS-1301: Oracle高可用性サービスがノードrac19n1で起動されました。
2023-07-30 12:50:55.659 [OHASD(2487)]CRS-8011: ホストからの再起動アドバイザ・メッセージ: rac19n1、コンポーネント: cssagent、タイム・スタンプ: L-2023-07-30-12:48:29.391
2023-07-30 12:50:55.660 [OHASD(2487)]CRS-8013: 再起動アドバイザ・メッセージ・テキスト: oracssdagent is about to reboot this node due to unknown reason as it did not receive local heartbeats for 2260 ms amount of time
2023-07-30 12:50:55.660 [OHASD(2487)]CRS-8011: ホストからの再起動アドバイザ・メッセージ: rac19n1、コンポーネント: cssmonit、タイム・スタンプ: L-2023-07-30-12:48:29.391
2023-07-30 12:50:55.661 [OHASD(2487)]CRS-8013: 再起動アドバイザ・メッセージ・テキスト: oracssdmonitor is about to reboot this node due to unknown reason as it did not receive local heartbeats for 2260 ms amount of time
2023-07-30 12:50:55.661 [OHASD(2487)]CRS-8017: 場所: /etc/oracle/lastgaspに2件の再起動アドバイザ・ログ・ファイルがあります(2が通知され、0件のエラーが発生しました)
また、SSH接続時にはコンソール上に以下の出力があり、ABRT がカーネルパニックが発生したことを検知している。
ABRT has detected 1 problem(s). For more info run: abrt-cli list --since 1690688452
[root@rac19n1 ~]# abrt-cli list --since 1690688452
id ef3c771c4c08669b0fc433c8b60734ce14988395
reason: Kernel panic - not syncing: sysrq triggered crash
time: 2023年07月30日 12時50分45秒
uid: 0 (root)
count: 1
Directory: /var/spool/abrt/vmcore-127.0.0.1-2023-07-30-12:48:32
報告済み: 報告できません
ノード2側のアラートログには以下の出力がある。別ノードのOSが再起動される場合は、やはり再起動アドバイザのメッセージが出力されるようだ。
2023-07-30 12:48:16.760 [OCSSD(4786)]CRS-1612: タイムアウト間隔の50%で、ノードrac19n1(1)のネットワーク通信がありません。この状態が続く場合、クラスタからのこのノードの削除が14.280秒内に行われます
:
2023-07-30 12:48:23.762 [OCSSD(4786)]CRS-1611: タイムアウト間隔の75%で、ノードrac19n1(1)のネットワーク通信がありません。この状態が続く場合、クラスタからのこのノードの削除が7.280秒内に行われます
2023-07-30 12:48:28.763 [OCSSD(4786)]CRS-1610: タイムアウト間隔の90%で、ノードrac19n1(1)のネットワーク通信がありません。この状態が続く場合、クラスタからのこのノードの削除が2.280秒内に行われます
2023-07-30 12:48:29.445 [OHASD(2926)]CRS-8011: ホストからの再起動アドバイザ・メッセージ: rac19n1、コンポーネント: cssagent、タイム・スタンプ: L-2023-07-30-12:48:29.391
2023-07-30 12:48:29.446 [OHASD(2926)]CRS-8013: 再起動アドバイザ・メッセージ・テキスト: oracssdagent is about to reboot this node due to unknown reason as it did not receive local heartbeats for 2260 ms amount of time
2023-07-30 12:48:29.448 [OHASD(2926)]CRS-8011: ホストからの再起動アドバイザ・メッセージ: rac19n1、コンポーネント: cssmonit、タイム・スタンプ: L-2023-07-30-12:48:29.391
2023-07-30 12:48:29.450 [OHASD(2926)]CRS-8013: 再起動アドバイザ・メッセージ・テキスト: oracssdmonitor is about to reboot this node due to unknown reason as it did not receive local heartbeats for 2260 ms amount of time
2023-07-30 12:48:31.045 [OCSSD(4786)]CRS-1632: ノードrac19n1がクラスタ・インカーネーション586186953のクラスタから削除されています
2023-07-30 12:48:31.661 [OCSSD(4786)]CRS-1601: CSSDの再構成が完了しました。アクティブ・ノードはrac19n2 です。
2023-07-30 12:48:31.689 [OCTSSD(5567)]CRS-2407: 新しいクラスタ時刻同期化サービスの参照ノードはホストrac19n2です。
2023-07-30 12:48:33.479 [CRSD(5815)]CRS-5504: ノード'rac19n1'について、ノード・ダウン・イベントが報告されました。
OS自体の応答が一時的に停止した場合
VMWareでノード1をサスペンドさせて、一時的に応答がなくなったことを想定する。
2023-07-30 15:51 にサスペンド 2023-07-30 15:53 にレジュームしている。
ノード2側のアラートログには以下の出力。ノードダウンとして検知されて、クラスタからノード1が排除される。
2023-07-30 15:51:16.024 [OCSSD(4786)]CRS-1612: タイムアウト間隔の50%で、ノードrac19n1(1)のネットワーク通信がありません。この状態が続く場合、クラスタからのこのノードの削除が14.240秒内に行われます
:
2023-07-30 15:51:23.026 [OCSSD(4786)]CRS-1611: タイムアウト間隔の75%で、ノードrac19n1(1)のネットワーク通信がありません。この状態が続く場合、クラスタからのこのノードの削除が7.240秒内に行われます
2023-07-30 15:51:28.027 [OCSSD(4786)]CRS-1610: タイムアウト間隔の90%で、ノードrac19n1(1)のネットワーク通信がありません。この状態が続く場合、クラスタからのこのノードの削除が2.240秒内に行われます
2023-07-30 15:51:30.270 [OCSSD(4786)]CRS-1632: ノードrac19n1がクラスタ・インカーネーション586186955のクラスタから削除されています
2023-07-30 15:51:30.478 [OCSSD(4786)]CRS-1601: CSSDの再構成が完了しました。アクティブ・ノードはrac19n2 です。
2023-07-30 15:51:30.487 [CRSD(5815)]CRS-5504: ノード'rac19n1'について、ノード・ダウン・イベントが報告されました。
ノード1側のアラートログには以下の出力。サスペンド解除後にほかのノードから自分が排除されたことを認識した後、CSSDを再起動していることがわかる。OS再起動には至らない。
2023-07-30 15:53:20.151 [OCSSD(4783)]CRS-1608: このノードはノード2、rac19n2によって削除されました。詳細は(:CSSNM00005:)(/u01/app/grid/diag/crs/rac19n1/crs/trace/ocssd.trc)を参照してください。
2023-07-30 15:53:20.152 [OCSSD(4783)]CRS-1656: 致命的なエラーのためCSSデーモンを停止中です。詳細は(:CSSSC00012:)(/u01/app/grid/diag/crs/rac19n1/crs/trace/ocssd.trc)を参照してください
2023-07-30 15:53:20.154 [OCSSD(4783)]CRS-1652: CRSDリソースのクリーンアップを開始しています。
2023-07-30 15:53:21.903 [OCSSD(4783)]CRS-1654: CRSDリソースのクリーンアップが正常に完了しました。
2023-07-30 15:53:21.942 [ORAROOTAGENT(5826)]CRS-5822: エージェント'/u01/app/19.0.0/grid/bin/orarootagent_root'はサーバーから切断されました。詳細は(:CRSAGF00117:) {0:2:6}(/u01/app/grid/diag/crs/rac19n1/crs/trace/crsd_orarootagent_root.trc)を参照してください。
2023-07-30 15:53:21.943 [ORAAGENT(5953)]CRS-5822: エージェント'/u01/app/19.0.0/grid/bin/oraagent_grid'はサーバーから切断されました。詳細は(:CRSAGF00117:) {0:4:5}(/u01/app/grid/diag/crs/rac19n1/crs/trace/crsd_oraagent_grid.trc)を参照してください。
2023-07-30 15:53:21.945 [OCSSD(4783)]CRS-1655: ノードrac19n1のCSSDで問題を検出し、停止を開始しました。
2023-07-30 15:53:22.037 [CRSD(14667)]CRS-8500: Oracle Clusterware CRSDプロセスをオペレーティング・システム・プロセスID 14667で開始しています
:
2023-07-30 15:53:25.833 [OCSSD(14798)]CRS-8500: Oracle Clusterware OCSSDプロセスをオペレーティング・システム・プロセスID 14798で開始しています
コメント