Data Pipeline

Batch Pipeline vs Streaming Pipeline

• 현업에서 요즘은 Streaming Pipeline에서 CDC Pipeline을 많이 사용하는 중..!

개인적인 경험 : 당시 데이터 엔지니어링 프로젝트 당시 멘토님께 CDC 파이프라인 구축은 어떤가요? 물어봤었을 때 ⇒ “실시간 데이터가 있어야 해서 불가능에 가깝지만, 나중에 해보기에는 현업에 가장 가까운 프로젝트다”

CDC?

Database 에서 **CDC(Change Data Capture)**는 변경된 데이터를 사용하여 동작을 취할 수 있도록 데이터를 결정하고 추적하기 위해 사용되는 여러 소프트웨어 디자인 패턴들의 모임이다.

⇒ 즉, “DB에서 데이터가 변경된 것을 감지하여 어떤 행위를 유발하는 걸 CDC라고 부름”

데이터 변경 사항 감지 상황?

배달의 민족 케이스에서는 데이터 변경 사항 감지 상황을 알기 전에 MSA와 Event Driven Architecture + CQRS 배경을 알아야 데이터 변경 사항 감지 상황 이해가 필요하다.

• MSA 와 Monolithic 기반 아키텍처
• 배달의 민족 MSA 아키텍처
• 배달의 민족 Event Driven 아키텍처
• CQRS (명령(Command)과 조회(Query) 분리)

데이터 변경 ↔ CDC..?

데이터 변경? 아까 CDC에서 나온게 뭐였을가요?