[기술포스팅 원문] https://oliveyoung.tech/blog/2024-05-20/oliveyoung-qa-oncall/

[기술포스팅 요약]

안녕하세요. 올리브영 QA Enginner 멜짱입니다. 이번 글에서는 인시던트 발생 시 슬랙 채널 생성 후 자동 알림이 발송되는 On-call 시스템을 어떻게 구축하였는지 설명합니다.

기존에는 슬랙으로만 인시던트 관리를 진행했기 때문에 슬랙 알림이 꺼져 있으면 장애가 잘 전파되지 않는 단점이 있었습니다. 이에 좀 더 빠르고 쉽게 장애를 전파하기 위해 On-call 시스템을 도입하게 되었습니다.

• AWS Lambda란?
  • Lambda는 서버리스 컴퓨팅 서비스로, 서버 관리 없이 코드를 실행할 수 있게 해줍니다.
  • 코드를 업로드하고 원하는 이벤트에 응답하도록 설정할 수 있습니다.
• Lambda를 통한 인시던트 관리
  • 슬랙봇 명령어를 통해 인시던트를 생성합니다.
  • Lambda 함수를 호출하여 인시던트 채널을 생성하고, 그룹을 자동으로 초대합니다.
  • CloudWatch Logs를 트리거로 활용해 Jira 티켓을 자동으로 생성합니다.
  • 온콜 웹 훅을 호출하여 관련 팀에 알림을 전송합니다.
• Lambda를 사용해서 좋은 점
  • 확장성: 필요에 따라 함수를 추가하거나 업데이트할 수 있습니다.
  • 비용 절감: 코드가 실행될 때만 비용이 청구됩니다.
  • 유연성: 다양한 이벤트 소스와 통합되어 다양한 시나리오에 적용할 수 있습니다.
• Lambda 도입의 어려움
  • Jira 연동 어려움: 사내망에서만 접속 가능한 Jira와의 연동 문제를 해결했습니다.
  • 코드 길어짐으로 인한 확장성 저하: 함수를 분리하여 가독성과 유지보수성을 향상시켰습니다.

기존에는 장애 발생 시 유선 연락을 통해 전파하는 데 시간이 걸렸으나, 온콜 시스템 도입 이후에는 즉시 연락이 전송되어 더 빠르게 장애를 인지하고 처리할 수 있게 되었습니다. 또한, 인시던트가 발생하는 즉시 Jira 티켓이 생성되어 관리가 더 수월해졌습니다.

현재 올리브영은 QA Engineer 포지션을 적극 채용 중이니 관심 있다면 지원해 주세요!

이 게시글은 [GPT-4 모델]를 통해 요약되었으며, 정보 공유 목적으로 게시되었습니다. 원문 게시물에 대한 책임이나 이해 관계가 없습니다. - 소프트웨어QA 포럼