SeaForest

※ 데이터 저장 방식에 따른 데이터베이스 차이 1. 행 기반 데이터베이스 (Row Oriented Database)- Postgres, MySQL, Oracle - 레코드를 '행 단위'로 추가 - 데이터 검색을 위해 인덱스를 사용항- 인덱스가 없다면 모든 데이터를 로드해야 하기 때문에 성능 저하 이슈 있음) - '행' 으로 관리되는 데이터베이스 - 새로운 데이터가 추가되면 기존 데이터의 맨 끝에 추가되는 구조 - 행 단위 데이터를 읽는데 최적화  - 데이터 끝에 행을 추가하면 되는거라 저장 속도가 빠름  - OLTP 에 최적화됨 - OLTP : 데이터 갱신 위주,  - 예시 : 예산 측정, 재무 회계 분석, 판매/수요 예측, 구매 성향 파악, 비즈니스 리포팅  2.  열 기반 데이터베이스 (Column ..

프로그래머스 | Lv.4단순하게 group by와 시간 함수를 사용하는 문제라고 생각하였지만, 문제에서 제시한 'ANIMAL_OUTS' 테이블에는 7시부터 19시까지의 입양건수만 있기 때문에 0시~6시, 그리고 18시~23시까지 시간대 데이터를 추가해야한다.  1. 정답 쿼리 -- WTIH문과 DUAL 테이블을 활용하여 0시~23시 데이터 생성 WITH HOUR AS ( SELECT LEVEL-1 AS HOUR FROM DUAL CONNECT BY LEVEL-1    2. TO_CHAR(datetime,'HH')>> 예를 들어 19시는 07시로 나오게 됨.SELECT animal_id, animal_type, datetime, to_char(datetime,'HH') as hourFROM AN..

1. 현재 날짜 조회SELECT SYSDATE FROM DUAL ; ※ 오라클에서 dual 테이블이란?- 꼭두각시 테이블 (박스는 있지만 내용물은 없음)- 오라클 자체에서 제공하는 테이블- 간단하게 함수를 이용해서 계산 결과값을 확인할 때 사용- 값을 가지는 하나의 행과 dummy라고 불리는 하나의 열이 있음(ex) 사용 예시SELECT 'ORACLE_TEST' FROM DUAL;SELECT 4 + 2 RESULT FROM DUAL;  2. 날짜에서 원하는 부분만 가져오기TO_CHAR 함수를 사용하여 날짜 데이터 중 원하는 데이터만 추출 가능.>> TO_CHAR(날짜타입값, '날짜포맷') : 데이터 유형이 '날짜' 인 데이터를 '날짜포맷'에 따라 문자열로 변환SELECT TO_CHAR(SYSDATE,'Y..

빅데이터를 지탱하는 기술 리뷰 (1) 데이터 분야에서 너무 유명하기도 하고 추천도 받아서 이 책을 읽게 되었다. 데이터 엔지니어로 일을 하고 있는건 아니지만 데이터 엔지니어쪽 공부를 하고 싶다는 생각을 항상 하고 있었기에 seaforest76.tistory.com 3. 빅데이터의 분산 처리 3-1. 대규모 분산 처리의 프레임워크 구조화 데이터와 비구조화 데이터 스키마 : 테이블의 컬럼 명과 데이터형, 테이블 간의 관계 구조화된 데이터 : 스키마가 명확하게 정의된 데이터 ex. 테이블 비구조화 데이터 : 스키마가 없는 데이터 ex. 텍스트 데이터, 이미지 등 Hadoop 분산 데이터 처리의 공통 플랫폼 단일 소프트웨어가 아니라 분산 시스템을 구성하는 다수의 소프트웨어로 이루어진 집합체 기본 구성 요소 HD..

업무를 하면서 쿼리를 작성해야 하는 일이 많은데, 쿼리 길이가 점점 길어지고 복잡해지는 경우가 많아지고 있다. 심지어 내가 작성한 쿼리도 알아보기 힘들어 쿼리를 다시 이해하는데 시간을 쓰게 되어 비효율적으로 업무를 했던 경험도 있다. 그러다 보니 이전에는 가독성을 고려하지 않은 쿼리를 작성했다면 최근에는 누가 봐도 알아보기 쉬운, 유지보수에 어려움이 없는 쿼리를 작성하기 위해 고민하는 시간이 많아진 것 같다. 이미 쿼리 가독성을 높이는 방법에 대해 정리한 글은 꽤 있지만, 업무를 하면서 느낀 점들도 함께 정리해보았다. 1. 행갈이를 자주 하기 간단한 쿼리를 작성할 경우에는 행갈이를 많이 하지 않았고, 행갈이의 필요성을 알지 못했다. /* 행갈이를 많이 하지 않은 경우 */ SELECT col1, col2..

1. 8기 활동 이후 다시 참여를 결심하게 된 계기 8기 활동이 끝날 때만 해도, 글또 활동은 끝났지만 꾸준히 한 달에 최소 한 개 이상의 글은 써보자는 생각을 가지고 있었으나 내 마지막 글은 '글또 8기를 마무리하며' 에 멈춰있는걸 보고 다시 한 번 글또에 참여해야겠다는 생각이 강하게 들었다. 2주에 한번 글을 쓴다는게 사실 쉬운 일은 아니지만, 글또 활동으로 약간의 강제성이 부여되면서 덕분에 블로그에 글도 점점 채워지고 꾸준하게 글도 작성해 보면서 생각을 정리할 시간도 가지게 되니, 다시 참여하지 않을 이유가 없었다. 2. 8기 활동 요약 '글또 8기를 마무리하며' 에서도 한번 정리를 하였지만, 이번 9기 다짐글을 쓰면서 지난 활동을 다시 한번 정리해 보려고 한다. ① 점점 채워지는 블로그 글또 활동..

올해 2월 글또 8기 활동을 시작했는데 벌써 약 6개월이 지나고 마지막 글을 제출하는 날이 왔다. 우연히 글또 활동을 하고 계신 분의 블로그를 통해 '글또'를 알게 되었고, 글을 2주에 한 번씩 제출해야 하는 강제성이 있어 혼자서 꾸준하게 공부를 할 수 있는데 도움이 될까 싶었던게 활동을 결심하게 된 이유 중에 하나였다. 1. 글 제출 현황 총 12번의 글을 제출해야 했고, 패스는 2번을 쓸 수 있었다. 완성도가 높은 글을 제출하고 싶은 마음에 패스권을 활동 초반에 2번을 썼었고, 그 후에 바쁘다는 핑계로 2번은 제출을 하지 못했다. 글 소재를 생각하는데 생각보다 많은 시간이 걸렸고, 항상 마감일 직전에 글을 쓰려고 하다 보니 완성도 높은 글을 제출하지 못했던 것 같다. 2번의 미제출이 있다는 점은 너무..

데이터 분야에서 너무 유명하기도 하고 추천도 받아서 이 책을 읽게 되었다. 데이터 엔지니어로 일을 하고 있는건 아니지만 데이터 엔지니어쪽 공부를 하고 싶다는 생각을 항상 하고 있었기에 이 책을 바로 읽게 되었다. 0. 들어가기 전 주제 : 자동화된 데이터 처리 ('데이터 활용 방법' 보다는 '데이터 처리 시스템화') 데이터를 이용하는 목적 (이 책에서는 2가지만 언급) 비즈니스 인텔리전스 : 기업의 업적 등을 수집해서 경영상의 의사결정에 도움 데이터 마이닝 : 통계 분석과 머신러닝 등의 알고리즘을 사용하여 데이터로부터 가치 있는 정보 발견 1. 빅데이터의 기초 지식 1-1. [배경] 빅데이터의 정착 빅데이터의 취급이 어려운 이유 데이터의 분석 방법을 모름 데이터 처리에 수고와 시간이 걸림 Hadoop 다..