[기술포스팅 원문] https://techblog.gccompany.co.kr/sre팀-테이블-명세서-자동화-구축기

[기술포스팅 요약] 여기어때 SRE팀 인턴으로 합류한 올리비아님의 '테이블 명세서 자동화 프로젝트' 경험 공유 글입니다. Amazon Aurora를 활용해 테이블 명세서를 자동화하고, Confluence를 통해 체계적으로 관리하는 과정과 문제 해결 사례가 담겨 있습니다.

• 프로젝트 배경
  • Amazon Aurora의 다양한 엔드포인트를 활용해 DB 트래픽을 관리하며, 서비스 및 비서비스 트래픽을 구분해 효율성을 높였습니다.
  • 테이블 명세서를 조직별로 관리하다 보니 표준화 및 최신화의 어려움이 발생해 자동화 프로젝트를 추진하게 되었습니다.
• 프로젝트 목표 및 구성
  • DB 객체 정보 자동 수집 (Aurora 클러스터, DB, 테이블 정보 포함)
  • 수집한 데이터를 기반으로 테이블 메타데이터 표 작성 (컬럼, 인덱스 정보 등)
  • 매일 자동 갱신하여 테이블 명세서가 항상 최신 상태를 유지하도록 설정
• 구축 결과 및 UI
  • Confluence 페이지를 계단식 구조로 구성해 도메인, 클러스터, DB, 테이블 정보를 체계적으로 관리했습니다.
  • 컬럼 및 인덱스 메타데이터를 시각적으로 구분해 가독성을 높이고, 페이지네이션을 통해 빠르게 원하는 정보를 찾을 수 있도록 구현했습니다.
• 프로젝트 중 발생한 이슈 및 해결 방법
  • 페이지 생성 API 호출 속도가 느려 병렬 처리(ThreadPoolExecutor)를 도입해 처리 시간을 25분에서 11분으로 단축했습니다.
  • API 호출 실패 문제를 해결하기 위해 페이지 존재 여부를 확인하는 로직을 추가해 안정성을 높였습니다.
  • Confluence의 페이지 생성 및 삭제 한계로 인해, HTML을 파싱해 삭제해야 할 페이지를 식별하고 API를 재호출하는 방식으로 문제를 해결했습니다.
  • 테이블 오너십 정보를 스프레드시트에서 추출해 메타데이터 표에 반영하여 보다 정확한 관리가 가능하도록 했습니다.
• 프로젝트 회고
  • DB 시스템 구조에 대한 깊은 이해를 바탕으로 자동화를 진행하며 기술적 성장과 실무 경험을 쌓았습니다.
  • 자동화의 필요성을 깨닫고, 지속적으로 자동화할 부분을 찾아 개선해 나가는 데 집중하고 있습니다.

"이 게시글은 [GPT-4o model]를 통해 요약되었으며, 정보 공유 목적으로 게시되었습니다. 원문 게시물에 대한 책임이나 이해 관계가 없습니다. - 소프트웨어QA 포럼"