[MSK+Kafka Connect] 트리거 없는 실시간 DB 동기화 구현하기기존 시스템의 한계와 개편 필요성시스템 개편을 하면서 새로운 아키텍처를 구상해야 하는 과제가 있었습니다.오랫동안 DB 링크와 트리거 기반의 데이터 연계 시스템(ESB)을 운영해 왔었는데, 기skillfromthesky.tistory.com 안녕하세요. 지난 글에서는 트리거 기반 ESB 구조를 제거하고, Kafka Connect + Debezium 기반의 CDC 파이프라인을 구성하는 전체 아키텍처에 대해 작성하였습니다. 이번 글에서는 실제 운영 환경에서 억 단위 레코드가 유입될 때 발생하는 병목과 튜닝 포인트를 정리하고, 소스 커넥터 데이터 추출 시 DB에서의 내부 동작과 Debezium의 로그 추출 메커니즘에 대해 작성해 보려고..

기존 시스템의 한계와 개편 필요성시스템 개편을 하면서 새로운 아키텍처를 구상해야 하는 과제가 있었습니다.오랫동안 DB 링크와 트리거 기반의 데이터 연계 시스템(ESB)을 운영해 왔었는데, 기존 방식은 다음과 같았습니다.Source DB → A DB 채널 → A DB target table ├── → B DB 채널 → B DB target table └── → C DB 채널 → C DB target table 해당 데이터 연계를 진행하려면 복잡한 단계를 거쳐야 했습니다:트리거 작성로직 체크(INSERT/UPDATE/DELETE 구분)비즈니스 로직 구현 (최대한 지양했지만 불가피한 경우 존재)소스 DB와 타겟 DB의 Getter/Setter 생성각 DB별 접속 및 데이터 ..