ADSP 정리

데이터베이스 정리

* EU: 체계적이거나 조직적으로 정리되고 저자식 또는 기타 수단으로 개별적으로 접근할 수 있는 독립된 저작물, 데이터 또는 기타 소재의 수집물

 

특징

- 통합된 데이터: 동일한 내용의 데이터가 중복되어 있지 않다는 것을 의미

- 저장된 데이터: 접근 가능한 저장 매체에 저장되는 것

- 공용 데이터: 여러 사용자가 서로 다른 목적으로 접근 가능

- 변화되는 데이터: 데이터베이스에 저장된 내용은 곧 현 시점에서의 데이터베이스 상태를 의미함

(삽입, 삭제, 갱신해도 현재의 정확한 데이터를 유지해야함)

 

빅데이터

3V(Volume: 규모 / Variety: 데이터 유형, 소스 / Velocity: 데이터 수집, 처리)

5V = 3V + (Veracity: 정확성, 신뢰성 / Value: 가치 (비용절감, 고퀄리티 output)

사전처리 -> 사후처리 / 표본조사 -> 전수조사 / 질 -> 양 / 인과관계 -> 상관관계

 

기본 테크닉

: 연관 규칙 학습, 군집분석, 유전 알고리즘, 기계학습, 회귀분석, 감정분석, 사회관계망 분석

위기 요인 통제 방안

: 사생활 침해 -> 동의에서 책임으로 / 책임 원칙 훼손 -> 결과 기반 책임 원칙 고수 / 데이터 오용 -> 알고리즘 접근 허용

빅데이터 활용 3요소

: 데이터 -> Datafication / 기술 -> 진화하는 알고리즘, 인공지능 / 인력 -> 데이터 사이언티스트, 알고리즈미스트

 

CRM 분석 성과 -> 빅데이터 분석 성과 (X)

분석을 통해 가치를 만드는 것이 중요

---

데이터 사이언티스트 역량

- hard skill: 빅데이터에 대한 이론적 지식, 분석 기술에 대한 숙련

- soft skill: 통찰력 있는 분석, 설득력 있는 전달, 다분야간 협력

 

컨버전스 -> 디버전스 (복잡한 세계화로의 변화)

생산 -> 서비스 *제품보다는 뛰어난 서비스

생산 -> 시장창조 *무형자산의 경쟁 심화

 

빅데이터 패러다임

1. Digitalization (아날로그 -> 디지털화) - 과거

2. Connection (디지털 혁신 대상 -> 하나의 망을 형성 / 연결의 효율성, 정확성이 중요 - 현재

3. Agency (복잡한 연결을 얼마나 효과적이고 신뢰성을 높일 수 있는지가 중요) - 미래

---

DBMS

- Data Base Management System; 데이터베이스를 관리하여 응용 프로그램들이 데이터베이스를 공유하며 사용할 수 있도록 환경을 제공해주는 소프트웨어

- 데이터베이스 틀 구축, 효율적인 데이터 검색, 저장 기능 등을 제공

ex: 오라클, 인포믹스, 액세스 등..

 

관계형 DBMS

: 데이터를 컬럼과 로우를 이루는 하나 이상의 테이블로 구성하며, 고유키가 각 로우를 식별한다.

로우는 레코드나 튜플로 불리기도하며, 일반적으로 각 테이블/관계는 하나의 엔티티 타입을 대표한다.

 

객체지향 DBMS

: 정보를 '객체' 형태로 표현하는 데이터베이스 모델 

 

관계형 DBMS	객체지향 DBMS
테이블(행의 집합)	클래스
행(ROW)	객체
테이블 정의(사용자 정의 데이터 타입)	타입
비적용(내장 프로시저)	메소드
비적용(내자 프로시저)	객체 식별자
비적용(배열 Array)	컬렉션
비적용	상속성
비적용	캡슐화
내장 프로시저 -> Embedded SOL	계산 완전성

 

데이터 비식별 기술

1) 데이터 마스킹:  홍 **씨

2) 가명처리:  임꺽정 30대, 홍길동 20대

3) 총계처리:  한 그룹내 각각의 정보를 보여주는 것이 아니라, 총합을 보여줌 (특정 속성을 지닌 개인으로 구성된 단체는 주의해야함)

4) 데이터값 삭제:  90년대생 남자, 밀레니엄 세대 여자

5) 데이터 범주화:  30~40대 남자, 40~50대 여자 

 

데이터의 무결성

: 데이터베이스 내의 데이터의 정확한 일관성과 유효성 그리고 신뢰성을 보장하기 위해 데이터 수정시 

여러 제한을 두어 정확성을 보증하는 것

 

데이터 레이크

: 수 많은 정보 속에서 의미있는 내용을 찾기 위해 방식에 상관없이 데이터를 저장하는 시스템

대용량 정형 및 비정형 데이터 저장, 접근도 쉽게 가능