[장애 내용]

• [최초 확인 이슈] 청주 하이닉스 저장분배서버 3-1, 3-2 서버 녹화 버퍼 증가
  [추가 확인 사항] 약 3개월 전 발생한, 증상과 동일한 증상 확인 (서버도 동일한 서버에서 발생)
  -> D state (강제 kill이 불가능한 인터럽트 상태) 프로세스 확인 : dmX(스토리지 볼륨), kworker

   

[장애 대응]

• 3개월 전 OS 재설치 후, 정상 사용 중 금일 취약점 조치 후 발생한 것으로 추정
  조치 항목 : /etc/systemd 하위 디렉토리 및 파일의 권한을 600으로 변경
  이후, syslog에  ' Failed to canonically path /etc/systemd/user/mnt-dm0.mount.wants: Permission denied ' 로그가 주기적으로 발생 (dmX 번호가 번갈아가면서 발생)
   
• 취약점 조치 약 30분 후, 녹화 버퍼 100%까지 증가, 및 D state 상태 발생.
  duplexing/work/duplexing_tool dsw 를 통한, 서버 절체 실패.
  systemctl restart nrs 실패.
  systemctl status nrs 로 확인 시, nrs 프로세스가 time-out 상태 돌입 확인.
  서버 재부팅을 통하여 복구하였으나, nrs 재시작 및 볼륨 변경 시 동일 증상 재발생.
   
• 임시 방법으로, 이중화 서비스 강제 중단 후 single 상태로 nrs 서비스 재기동.
  single 상태에서는 수차례 nrs 재시작 및 볼륨 변경을 하여도 D state 발생 안함.
   
• 청주 정기점검 때, OS 재설치 진행 예정.
  재설치까지, single 상태 유지 및 상태 모니터링 진행.
  /etc/systemd 하위 디렉토리 및 파일의 권한을 755로 변경 복구.

[확인사항]

• duplexing/work/duplexing_tool dsw 를 통하여 절체를 시도하였을 때, 현재 active서버에서 target의 unmount 실패, standby서버 target의 mount 실패.
  장애 원인의 시작지점이 target의 umount/mount 실패로 예상되는 부분.
   
• 취약점 조치부터, 이중화 설정까지 다른 저장분배서버와 차이가 없어 장애 원인 파악이 어려움.
   
•