[아티클 미션] -12 데이터 아키텍처

데이터 아키텍처란?

조직이 데이터를 수집, 저장, 처리 및 관리하는 방법을 설계하고 구현하는 과정 혹은 체계

 

☑️ 데이터의 원천

1. OLTP 데이터베이스 : 세션별 모든 트랜잭션 데이터 (구매 내역, 입출금 내역 등)
2. 기업 어플리케이션 : ERP/CRM 등과 같은 데이터 관리 시스템 (고객 정보, 재고, 매출 등)
3. 서드파티 : 외부 데이터 (시장 조사, 경쟁사 동향 분석 등)
4. 웹/로그 데이터 : 유입 경로, 랜딩 페이지, 가장 오래 머무른 페이지 등의 정보
5. loT 데이터 : loT 기기들이 생성하는 데이터

raw-data를 용도에 맞게 잘 가공해서 쓸만한 데이터로 만들어준 다음 활용해야 한다.

이러한 과정을 ETL 이라고 한다.

 

✳️ ETL (Extraction Transformation Load)

1. Extraction 추출 : 원천에서 데이터를 가져오기
2. Transformation 변환 : 중복/오류값 등 제거 혹은 일정한 형식으로 변환하기 (칼럼별 결합, 분류 가능)  데이터 품질 향상!
3. Load : 정제된 데이터를 데이터 웨어하우스/레이크에 저장

데이터 웨어하우스	데이터 레이크
필요한 형식으로 변환 후 저장	모든 원시 데이터를 그대로 저장
✔️ 정형 데이터 ✔️ 신속 정확하게 원하는 데이터 추출 ✔️ 데이터 무결성, 신뢰성 보장	✔️ 정형, 비정형, 반정형 데이터 ✔️ 스토리지 비용이 비교적 낮음 ✔️ 다양한 실험과 탐색적인 분석 가능 ex) 머신러닝 모델 훈련, 새로운 패턴 발견

 

➕ 데이터 마트

데이터 웨어하우스에서 특정 주제나 부서에 필요한 데이터만 따로 뽑아 놓은 데이터 집합

✔️ 장점

1. 효율적인 데이터 관리 및 접근성
2. 쿼리 처리 성능 향상
3. 사용자 맞춤형
4. 보안, 데이터 보호 강화

☑️ 데이터 활용

기업 내부 핵심 부서별, 개발 및 테스트, 데이터 전문가, 일반적인 운영 및 보고, 기타 분야에서 다양하게 활용된다.