SeaForest

※ 데이터 저장 방식에 따른 데이터베이스 차이 1. 행 기반 데이터베이스 (Row Oriented Database)- Postgres, MySQL, Oracle - 레코드를 '행 단위'로 추가 - 데이터 검색을 위해 인덱스를 사용항- 인덱스가 없다면 모든 데이터를 로드해야 하기 때문에 성능 저하 이슈 있음) - '행' 으로 관리되는 데이터베이스 - 새로운 데이터가 추가되면 기존 데이터의 맨 끝에 추가되는 구조 - 행 단위 데이터를 읽는데 최적화  - 데이터 끝에 행을 추가하면 되는거라 저장 속도가 빠름  - OLTP 에 최적화됨 - OLTP : 데이터 갱신 위주,  - 예시 : 예산 측정, 재무 회계 분석, 판매/수요 예측, 구매 성향 파악, 비즈니스 리포팅  2.  열 기반 데이터베이스 (Column ..

BI 업무를 하면서, 잘 정제된 데이터는 중요하다는 점을 알게 되었고, 자연스럽게 ETL 쪽에도 관심을 갖게 되었다. 데이터가 어떻게 구성되었느냐에 따라 작업 효율이 달라지기 때문에 분석에 최적화된 형태로 잘 정리된 데이터가 필요하고, 잘 구성된 데이터는 데이터 파이프라인 안에서 만들어지기 때문에 데이터를 잘 전달하기 위해서는 효율적인 파이프라인 구축이 필요하다. 1. 데이터 파이프라인이란? 데이터를 한 장소에서 다른 장소로 옮기는 것 데이터를 이동시킬 수 있는 통로를 만드는 것 데이터를 생성해서 저장하기까지의 일련의 과정 예시 API → Database Database → Database Datbase → BI Tool 2. 왜 데이터 파이프라인을 구축할까 데이터 파이프라인을 구성함으로써 데이터 기반의..