카카오의 기술 컨퍼런스인 if(kakao) 2026에 다녀왔다.이번 컨퍼런스는 이틀에 걸쳐 진행되었으며, 나는 10월 14일 DAY 2에 참석했다.평소 데이터 엔지니어링 업무를 하면서 데이터 플랫폼뿐 아니라 AI 에이전트, 개발 생산성, 인프라 아키텍처에도 관심이 있었기 때문에 관련 세션을 중심으로 들었다.특히 이번에는 기술 자체를 소개하는 발표보다 실제 서비스 환경에서 마주한 문제를 어떻게 해결했는지, 어떤 아키텍처를 선택했고 그 과정에서 무엇을 개선했는지에 집중해서 들었다.기억에 남았던 세션들과 개인적인 생각을 참석 순서대로 정리해 보려고 한다.세션별 후기Welcome Speech이번 if(kakao)에서는 AI와 데이터, 인프라 등 다양한 기술 주제를 다루고 있었다. 개인적으로는 데이터 엔지니어링과..

데이터 엔지니어링에서 대부분의 컬럼은 계산 가능하다.입고량, 출고량, 판매량, 현재고, 고객별 구매금액처럼 명확한 값은 SQL로 집계하면 된다.SELECT sku_id, SUM(in_qty) - SUM(out_qty) AS stock_qtyFROM inventory_historyGROUP BY sku_id;하지만 실무에는 계산이 아니라 판단이 필요한 값도 많다.예를 들면 이런 것들이다.두 상품명이 실제로 같은 상품을 의미하는가?주문·반품·CS 메모의 사유가 무엇인가?상품 설명만 보고 어떤 카테고리에 가까운가?ABC상사, ABC Co., Ltd., 에이비씨가 같은 거래처인가?자유 텍스트를 BI에서 사용할 수 있는 정형 컬럼으로 바꿀 수 있는가?사람은 이런 데이터를 보고 어느 정도 판단할 수 있지..

최근 LLM과 MCP를 데이터 영역에서 어떻게 활용할 수 있을지 살펴보고 있다.현재 데이터 환경을 단순화하면 ERP의 PostgreSQL 데이터를 dbt로 가공하고, DWH/Mart를 거쳐 MicroStrategy에서 리포트와 대시보드를 제공하는 구조다.ERP / PostgreSQL ↓ dbt ↓ DWH / Mart ↓MicroStrategy 여기에 LLM을 새로운 데이터 Consumer로 추가하면 꽤 흥미로운 그림이 나온다.예를 들어 PostgreSQL에 MCP를 연결하고,지난달 순매출은 얼마인가?라는 질문을 자연어로 던진다. LLM은 Schema를 확인하고 필요한 SQL을 생성해 결과를 가져온다.기술적으로는 충분히 가능한 구조다.다만 이 구조를 생..

AI가 코드를 쓴다면, 나는 뭘 해야 하나「AI 시대, 개발자라면 알아야 할 것들과 변하지 않는 것들」 (최용호 / AWS 테크에반젤리스트) 몇 달 사이에 작업 방식이 꽤 많이 바뀌었다. 예전에는 막히는 부분만 골라서 물어봤는데, 요즘은 "이 dbt 모델 컴파일 에러 좀 잡아줘" 하고 터미널을 켜둔 채 다른 일을 한다. 코드를 대신 써주는 도구에서, 작업을 통째로 맡기는 도구로 넘어간 셈이다.그러다 보니 자연스럽게 드는 생각이 있다. AI가 코드를 점점 더 많이 쓴다면, 나는 앞으로 뭘 잘해야 하나. 이번 발표가 좋았던 건 특정 모델이나 도구 사용법을 늘어놓지 않았다는 점이다. 대신 AI를 쓰는 개발 방식 자체가 어떻게 확장되어 왔는지를 한 줄기로 정리해줬다.Prompt Engineering → Cont..

Amazon Bedrock의 데이터 보호 구조사내에 LLM을 붙이려고 하면 반드시 같은 질문이 돌아온다."질문할 때 컨텍스트로 넣는 그 데이터, 학습에 안 쓰인다는 보장이 있습니까?"여기에 "AWS가 안 쓴다고 했습니다"라고 답하면 검토가 끝나지 않는다. 필요한 건 약속이 아니라 검증 가능한 근거이기 때문이다. 이 글은 그 근거를 네 개 층위로 나눠 정리한다. ①만 있으면 "믿어달라"에서 끝나고, ④까지 갖춰야 "확인했다"가 된다. 보안 검토를 실제로 통과시키는 건 ④다.1. 학습·저장·전달은 서로 다른 이야기다논의가 겉도는 가장 큰 이유는 세 가지를 "학습"이라는 한 단어로 부르기 때문이다.먼저 추론(inference)과 학습(training)은 다른 파이프라인이다. LLM 추론은 stateless다...

들어가며Redshift를 운영하다 보면 갑자기 쿼리가 느려지거나, 특정 세션이 멈춰있거나, 락 때문에 다른 작업이 블로킹되는 상황을 자주 마주합니다.인터넷을 검색하면 수많은 튜닝 가이드가 나오지만, 정작 실제 Redshift 시스템 테이블 이름이 틀리거나, 존재하지 않는 컬럼을 참조하는 경우가 많습니다. ChatGPT나 Gemini에게 물어봐도 일반 PostgreSQL 기준으로 답변하거나, 실제로는 작동하지 않는 쿼리를 알려주는 경우가 대부분입니다.이 글에서는 AWS 공식 문서에 명시된 실제 시스템 뷰와 정확한 컬럼명을 기반으로, 프로비저닝 클러스터 환경에서 바로 사용할 수 있는 트러블슈팅 쿼리와 튜닝 포인트를 정리했습니다. 1. Redshift 시스템 뷰 체계 이해하기Redshift는 여러 카테고리의 ..

들어가며최근 데이터 엔지니어링 커뮤니티에서 Apache Iceberg라는 이름을 자주 듣게 됩니다. Netflix, Apple, Adobe 같은 글로벌 기업들이 프로덕션에서 사용하고 있습니다."Iceberg가 뭐길래?" "기존 Parquet 파일 저장 방식과 뭐가 다른데?" 하는 궁금증이 생겨서 직접 조사하고 정리해봤습니다.이 글에서는 Iceberg의 개념, 왜 필요한지, 그리고 어떤 케이스에 활용될 수 있는지 살펴보겠습니다.1. Apache Iceberg란?Apache Iceberg는 대규모 분석 데이터를 위한 오픈 소스 테이블 포맷입니다.많은 분들이 Iceberg를 데이터베이스나 쿼리 엔진으로 오해하지만, 사실 Iceberg는 "S3 같은 객체 스토리지에 저장된 데이터를 어떻게 관리할 것인가"를 정의..

들어가며지난 포스팅에서 Kafka Connect 서버 구축과 커넥터의 기본 개념을 다뤘습니다. 로컬에서 몇 개의 커넥터를 테스트할 때는 문제가 없었지만, 실제 프로덕션 환경에서 수십, 수백 개의 커넥터를 운영하려니 예상치 못한 문제들이 쏟아졌습니다.이번 글에서는 우리 팀이 어떻게 Git 기반의 자동화 파이프라인을 구축해 이 문제를 해결했는지 공유하려 합니다.1. 문제 상황: 커넥터가 늘어날수록 커지는 혼란우리 데이터 플랫폼 팀은 여러 DB 인스턴스와 연동해야 했고, 각 DB 안에는 수십 개의 스키마가 존재했습니다. MySQL의 sales_db.orders, sales_db.payments, PostgreSQL의 logistics.tracking 등 각 테이블마다 별도의 커넥터 설정이 필요했죠.초기에는 P..