데이터 엔지니어링, 파이프라인, 그리고 기술 노트를 기록하는 공간입니다.
Projects
Nasdaq Data Pipeline
실시간 주식 데이터 파이프라인
- 프로젝트 개요
- 회고록
- 1. Kafka Producer
- 2. Kafka Consumer (Spark Structured Streaming)
- 3. Airflow (배치처리)
- 4. Streamlit Dashboard
- 5. Redis 데이터 관리
- 6. 성능 테스트 결과
- Trouble Shooting
DBT Dagster Data Warehousing
dbt + Dagster 데이터 마트 구축
Activities
DataTalksClub - Data Engineering Zoomcamp
- 회고록
- Week 3-1: Data Warehouse (OLTP vs OLAP)
- Week 3-2: Data Warehouse (Google BigQuery)
- Week 4: Analytics Engineering
- Week 4-1: dbt 실습
- Week 5: Data Platform (bruin)
- Week 6: Batch Pipeline (Spark)
- Week 7: Streaming
Studies
학습 노트 모음: