빅데이터UI전문가/Database

[JAVA] 빅데이터UI전문가 -Day18 DataBase

해요빈 2021. 9. 6. 15:54
/*
데이터 베이스(관계형 데이터베이스, SQL)

데이터를 21세기의 원유라고 표현한다. 데이터가 가진 잠재 가치가 크다.
예전에는 데이터가 이리부 전문가들만 다루는 영역이었고 일반인들에게는 생소한 개념이었다.
지금은 대용량 처리기술과 인터넷의 발달로 '빅데이터 시대'가 도래하였다.
이제는 영엽관리자, 마케터, 서비스기획자 등 비전공 실무자들에게도 중요한 주제가 되었다.

여러분이 영업팀에서 근무한다고 가정한다면 다양한 매출 데이터와 상품 데이터를
분석하여 리포트를 제출해야 한다. 데이터를 분석하려면 먼저 데이터가 있어야 한다.
가지고 있는 데이터가 없다면 

1. 관련부서에 요청하거나
2. 직접 데이터베이스를 조작해야 한다.

관련부서에 요청 후 데이터를 받게 되도 원하는 형태의 데이터가 아닐 확률이 높을 수 밖에 없다.
(예, 난 일별 판매자료를 원했는데 월별 판매자료 데이터를 제공받았다.) -> 재요청

따라서 직접 데이터베이스를 조작해야 한다. 원하는 형태로 데이터를 추출할 수 있다.
SQL 구문을 알고 있다면 단 몇줄로 원하는 데이터를 몇 분만에 추출할 수 있을 것이다.

데이터 분석과정
1. 문제인식
2. 데이터 수집/가공(전처리 preProcessing -> 데이터 분석 전체 과정의 80%  - 아직 인공지능이 이것을 못함.)
3. 데이터 분석
4. 분석결과 실행


// 컴퓨터가 못하는 것
1. 결측치
2. 이상치

SQL은 어느정도 익혀야 할까
기술통계(기초산술, 평균, 분산, 편차...)까지 익히면 대부분 자유롭게 처리가 가능하며
기술통계를 벗어난 수준의 통계적 분석영역은 그 다음순서로 학습한다.

데이터 종류
정형데이터 structured data 엑셀파일 등의 틀이 잡혀있는 체계화된 데이터
관계형 데이터베이스 RDBMS
비정형 데이터 unstructured data 텍스트, 이미지, 음원,, 빅데이터



데이터베이스는
데이터는 정보이고 이것을 모아둔 것을 데이터베이스라고 한다.
데이터베이스는 설계, 운영, 저장 방식에 따라 여러종류가 있다.

관계형 데이터베이스 
열과 행으로 구성된 2차원 테이블을 중심으로 설계되어 또 다른 테이블과 관계라는 연결고리로
연결하여 데이터를 조회하고 가공하는 방식의 데이터베이스
현재 업무용으로 가장 많이 사용하는 방식이며 역사도 오래 되었다. 
오라클, MySQL, Access....

계층형 데이터베이스
가장 오래된 현태의 데이터베이스

객체지향 데이터베이스
좀 별로임
객체. 클래스, 상속 등등 객체지향 모델을 지원하는 데이터베이스

XML 데이터베이스
데이터 중심 기반 또는 XML문서 중심의 데이터베이스user

SQL?mysqluser
SQL은 관계형 데이터베이스를 조작하기 위해서 만든 표준 언어.
1970S SEQUEL이라는 관계형 데이터베이스 언어를 기초로 만들어졌고,
1980년대부터 표준으로 사용되고 있다.

사용자 SQL - Mysql
orcle
maria

sql특징
1. 문법이 쉽다.
2. 비절차적 언어이다.
3. 관계형 데이터베이ㅏ스를 기존으로 조작한다.
4. 표준이다.

sql 명령어의 종류
데이터조작어 DML
데이터정의어 DDL
데이터제어어 DCL
데이터트랜젝션 제어어  TCL
*/