SeaForest

빅데이터를 지탱하는 기술 리뷰 (1) 데이터 분야에서 너무 유명하기도 하고 추천도 받아서 이 책을 읽게 되었다. 데이터 엔지니어로 일을 하고 있는건 아니지만 데이터 엔지니어쪽 공부를 하고 싶다는 생각을 항상 하고 있었기에 seaforest76.tistory.com 3. 빅데이터의 분산 처리 3-1. 대규모 분산 처리의 프레임워크 구조화 데이터와 비구조화 데이터 스키마 : 테이블의 컬럼 명과 데이터형, 테이블 간의 관계 구조화된 데이터 : 스키마가 명확하게 정의된 데이터 ex. 테이블 비구조화 데이터 : 스키마가 없는 데이터 ex. 텍스트 데이터, 이미지 등 Hadoop 분산 데이터 처리의 공통 플랫폼 단일 소프트웨어가 아니라 분산 시스템을 구성하는 다수의 소프트웨어로 이루어진 집합체 기본 구성 요소 HD..

데이터 분야에서 너무 유명하기도 하고 추천도 받아서 이 책을 읽게 되었다. 데이터 엔지니어로 일을 하고 있는건 아니지만 데이터 엔지니어쪽 공부를 하고 싶다는 생각을 항상 하고 있었기에 이 책을 바로 읽게 되었다. 0. 들어가기 전 주제 : 자동화된 데이터 처리 ('데이터 활용 방법' 보다는 '데이터 처리 시스템화') 데이터를 이용하는 목적 (이 책에서는 2가지만 언급) 비즈니스 인텔리전스 : 기업의 업적 등을 수집해서 경영상의 의사결정에 도움 데이터 마이닝 : 통계 분석과 머신러닝 등의 알고리즘을 사용하여 데이터로부터 가치 있는 정보 발견 1. 빅데이터의 기초 지식 1-1. [배경] 빅데이터의 정착 빅데이터의 취급이 어려운 이유 데이터의 분석 방법을 모름 데이터 처리에 수고와 시간이 걸림 Hadoop 다..

'데이터 분석을 하는 실무자들이 참고하면 좋은 추천 도서 모음' 을 통해 이 책을 접하게 되었고, 평상시에 데이터 분석은 어떻게 해야 하는지에 대해 궁금했었기에 이 책을 선택해서 읽게 되었다. https://lbm.oopy.io/data-link-book-list 데이터 분석을 하는 실무자들이 참고하면 좋은 링크, 추천 도서 모음 (23.05.17 업데이트) lbm.oopy.io ■ 데이터 문해력이란 스스로 정답에 대해 고민하고 데이터를 무기로 합리적으로 결론을 도출하고 논하는 능력 → 데이터에서 찾아낸 인사이트를 자신의 결론으로 이끄는 이야기로 만드는 능력 ■ 올바른 데이터 분석의 최종 결론 '데이터를 활용한다'란 '결과'가 아니라 '결론'을 도출하는 것 결과 결론 XXX와 YYY는 차이가 있습니다. ..

대시보드란 무엇이고, 화면을 기획 및 설계하면서 고려해야 하는 점들에 대해서 정리해보려고 한다. 1. 대시보드란 의사결정에 필요한 모든 정보를 한눈에 보거나 비즈니스에서 가장 중요한 정보를 모니터링 하기 위해 사용 상황을 모니터링하거나, 이해를 돕거나, 둘 다에 사용하는 데이터의 시각적 표시 복잡한 시스템에서 사람에게 정보를 주기 위해 사용 확실한 답이 있는건 아니지만, 적합한 유형의 차트를 선택하여 표현하는 것은 정보를 빠르게 전달하는데 도움이 됨 2. 대시보드 화면 기획시 고려해야 하는 점 대시보드를 사용하는 사용자는 누구인가? 누가 보는 대시보드인가? 임원들이 보는 대시보드인가? 관리자가 보는 대시보드인가? 현장의 실무자가 보는 대시보드인가? 대시보드를 보는 사람이 보는 기기는 무엇인가? 주로 pc..

1. Linear Models(=선형 회귀)란? - 종속변수 y와 독립변수 x와의 선형 상관관계를 모델링하는 회귀분석 기법 - 단순선형회귀 : 한개의 독립변수에 기반한 경우 - 다중선형회귀 : 둘 이상의 독립변수에 기반한 경우 2. OLS(=최소자승법,Ordinary Linear Squares)란? - 오차를 최소화 시키는 방법으로 회귀 계수를 추정하는 기법 3. R-squared (=결정계수) - 독립변수가 종속변수를 얼마만큼 설명해 주는지를 가리키는 지표 - 결정계수가 높을수록 독립변수가 종속변수를 많이 설명한다는 의미 - 독립변수의 수가 증가하면 상승함 >> 그래서 종속변수를 잘 설명하지 못하는 독립변수가 추가되면, 독립변수의 수가 증가해서 결정계수도 같이 증가하기 때문에 결정계수 만으로는 회귀모델..

항공 통계 > https://www.airportal.go.kr/knowledge/statsnew/main.jsp# KT 통신 빅데이터 플랫폼 > https://bdp.kt.co.kr/invoke/SOKBP0000/ 서울시 공공데이터 > http://data.seoul.go.kr/dataList/datasetList.do 캐글(kaggle) > https://www.kaggle.com/ data.world > https://data.world/makeovermonday?entryTypeLabel=dataset&tab=resources 통계청 > https://kosis.kr/index/index.do e-나라지표 > https://www.index.go.kr/main.do 기상자료개방포털 > https:..