Grafana + Slack 알림 설정하기

 

🙋 들어가며

이전 글에서 구축한 모니터링 스택(Prometheus + Loki + Grafana)을 활용해 장애 상황을 실시간으로 Slack으로 알림받는 방법을 공유합니다.

이 글에서 다룰 내용은 아래와 같습니다.

• Slack Webhook 연동 (Contact Point 설정)
• 서버 다운 알림 (Prometheus Alert)
• ERROR 로그 알림 (Loki Alert)
• 추가하면 좋을 알림 모음

---

🔔 1. Slack 알림 설정

Grafana의 Alert Rules에서 조건을 설정하고, Contact Points에서 Slack Webhook URL을 등록하면 알림을 받을 수 있습니다.

Slack 에서 Webhook URL 발급받기

Slack Marketplace 접속

incoming webhook 검색

Slack에 추가 클릭

알림을 받고자 하는 채널 선택

웹후크 URL 복사해두기

Slack Contact Point 설정

Grafana > Alerting > Contact Points > Add contact point에서 Slack을 선택하고 위에서 복사해둔 Webhook URL을 입력합니다.

Alert rules > New alert rule > 5. Configure notifications 에 추가한 contact point를 선택하면 알림이 해당 채널로 알림이 갑니다.

---

서버 다운 알림 (Prometheus Alert)

Prometheus의 up 지표가 0이 되면(서버 응답 없음) Slack으로 알림을 발송합니다.

Grafana > Alerting > Alert Rules > New alert rule에서 아래와 같이 설정합니다.

up{instance="<prod 서버 ip>"}

ERROR 로그 알림 (Loki Alert)

애플리케이션에서 ERROR 로그가 발생하면 알림을 발송합니다.

기존 에러 알림은 메시지만 보고 정확한 원인을 파악하기 어려워 알림 메시지 본문을 커스텀하여 개선

 

커스텀 알림 메시지를 위한 LogQL 쿼리

count_over_time(
  {service_name="goody-api"} 
  | json 
  | detected_level="ERROR" 
  | line_format "{{ .attributes_exception_stacktrace }}"
  | regexp "(?m)^\\\\s*at\\\\s+(?P<error_location>org\\\\.re\\\\.goody\\\\.[^\\\\r\\\\n]+)"
  | label_format 
      exception_message="{{ .attributes_exception_message }}",
      error_location="{{ .error_location }}",
      exception_type="{{ .attributes_exception_type }}",
      body="{{ .body }}"
  | __error__=""
[5m])

 

프로젝트의 시스템 에러는 대부분 AppException, InfraException으로 랩핑되기 때문에 exception.type 필드만으로는 구체적인 발생 원인을 파악하기 어려웠습니다. 이를 보완하기 위해 exception.stacktrace에서 org.re.goody로 시작하는 프로젝트 내부 파일 위치를 정규식으로 파싱하여 error_location 레이블로 추출했습니다.

{
	"body":"[Unexpected Error] Exception details",
	"traceid":"d2ef8eb328173570f6f016b0dd",
	"spanid":"7b65517dc9a",
	"severity":"ERROR",
	"flags":3,
	"attributes":{
		"exception.message":"No static resource auth/refresh.",
		"exception.stacktrace":"org.springframework.web.servlet.resource.NoResourceFoundException: No static resource auth/refresh.\\n\\tat org.springframework.web.servlet.resource.ResourceHttpRequestHandler.handleRequest(ResourceHttpRequestHandler.java:585)\\n\\tat org.springframework.web.servlet.mvc.HttpRequestHandlerAdapter.handle(HttpRequestHandlerAdapter.java:52)\\n\\tat org.springframework.web.servlet.DispatcherServlet.doDispatch(DispatcherSe...",
		"exception.type":"org.springframework.web.servlet.resource.NoResourceFoundException"
		},
	"instrumentation_scope":{"name":"org.re.goody.common.exception.ErrorLoggingService"
}}

 

알림 메시지를 더 커스텀하고 싶다면, 로그의 attributes 필드에 포함된 속성들(예: exception.message, exception.stacktrace, exception.type 등)을 확인하고 필요한 항목만 label_format으로 추출하면 됩니다.

---

추출한 항목들을 알림 메시지에 적용하기 위해서는 커스텀을 해야합니다.

알림 메시지 제목 및 본문 커스텀

Grafana > Alerting > Contact Points 에서 커스텀 하고자하는 알림 > edit 을 선택

Optional Slack settings 를 열면 알림 메시지 커스텀이 가능합니다.

저는 별다른 커스텀 없이 Title과 Text Body만 설정했습니다.

Title

🚨 [FIRING] {{ .CommonLabels.alertname }} ( {{ .CommonLabels.exception_message }} )

Text Body

*에러 요약*
{{ .CommonLabels.body }}

*에러 원인*
- Message: {{ .CommonLabels.exception_message }}
- Type: {{ .CommonLabels.exception_type }}

*에러 발생 위치*
{{ .CommonLabels.error_location }}

*Trace*
- TraceId: `{{ .CommonLabels.traceid }}`

🔍 *Links*
- Logs: <{{ .CommonAnnotations.logs_url }}|바로 보기>
- Trace: <{{ .CommonAnnotations.trace_url }}|바로 보기>

body는 애플리케이션에서 로깅 시 출력한 메시지 문자열입니다. 프로젝트 로깅 설정에 따라 출력된 값입니다.

💡 앞으로 추가할 알림들

현재는 서버 다운과 ERROR 로그 두 가지만 설정되어 있습니다. 아래 알림들도 순차적으로 추가할 예정입니다.

알림	쿼리 예시	권장 임계치
JVM Heap 사용률 과다	jvm_memory_used_bytes{area="heap"} / jvm_memory_max_bytes{area="heap"}	80% 이상 5분 지속
HTTP 5xx 에러 급증	rate(http_server_requests_seconds_count{status=~"5.."}[5m])	분당 10건 이상
HTTP 응답시간 (P99) 초과	histogram_quantile(0.99, rate(http_server_requests_seconds_bucket[5m]))	3초 이상
GC 빈도 과다	rate(jvm_gc_pause_seconds_count[5m])	분당 5회 이상