목적
서비스 장애가 났을 때 누가 무엇부터 보는지 순서를 정함. 단일 세대 문의는 증상 페이지로 처리하고, 이 절차는 단지 단위 이상으로 번진 문제에 씀.
사전 준비
- Grafana 접속. 기본매뉴얼/운영/grafana로 로그 보기
- 운영 WAS 접속 권한
- 홈넷사·가전사 담당자 연락처. 위키에는 없고 담당자에게 문의함
절차
1. 인지와 접수
장애는 세 경로로 들어옴. Grafana/Loki 알림, 고객센터 CS 접수, 내부 발견.
- 범위: 한 세대 / 한 단지 / 한 홈넷사 전체 / 서비스 전체
- 영향: 앱 / 월패드 연동 / 관리자 웹
- 긴급도. 서비스 전체나 홈넷사 전체면 긴급
한 홈넷사 전체가 동시에 안 되면 인증서 만료를 먼저 의심함. 기본매뉴얼/운영/홈넷 서버 인증서 만료
2. 초동 대응
서버 장애
systemctl status tomcat # 서비스 상태
tail -f catalina.out # 로그
df -h # 디스크
free -m # 메모리
tomcat이 내려가 있으면 기본매뉴얼/운영/tomcat과 배치 기동을 따름.
앱 장애
- 앱 버전, 특정 OS·기종에 한정되는지, 네트워크 문제인지 가름.
월패드 연동 장애
- 관리자 시스템
홈넷 서버 관리에서 최종 내역 생성 일시(heart beat)를 봄. 최근이면 홈넷 서버는 살아 있음. - 연동 API 응답 코드로 구간을 가름. 공개노트/기능/홈넷 서버 연동의 장애 판정 표.
- 해당 단지 홈넷사에 연락함.
3. 원인 분석과 조치
로그 분석 → DB 확인 → 필요하면 홈넷사·가전사에 협조 요청. 로그 보는 법은 기본매뉴얼/운영/WAS 로그 확인.
4. 복구 확인
- 서비스가 정상 동작함
- 장애가 났던 단지·세대에서 직접 확인함
- Grafana 지표가 정상으로 돌아옴
5. 사후 처리
- 원인과 조치를 해당 증상 페이지의 사례 표에 적음. 없으면
수신함/에 남겨 다음 ingest 때 페이지로 만듦 - 재발 방지 대책이 있으면 기본매뉴얼/운영/정기 점검 체크리스트에 항목을 추가함
- 관련자에게 공유함
- 월간보고에 반영함. 기본매뉴얼/운영/월간보고 작성
관련
기본매뉴얼/운영/정기 점검 체크리스트 기본매뉴얼/운영/홈넷 서버 인증서 만료 기본매뉴얼/운영/WAS 로그 확인 기본매뉴얼/운영/grafana로 로그 보기 기본매뉴얼/운영/tomcat과 배치 기동