1. Introduction

What is Data Mining?

---

데이터 마이닝이란 무엇일까

• 대량의 데이터 속에서 흥미롭고 중요한 데이터를 자동으로 뽑아내는 과정
  • 어떤 데이터가 흥미롭고 중요?
  • Non-trivial, Implicit, Previously unknown, Potentially usefull ,,, 한 정보들
• 요즘 우리는 대량의 데이터 시대에 살고 있고, 데이터는 계속해서 쌓여가기 때문에 그 속에서 중요한 의미를 찾아야 한다

 

Knowledge Discovery Process

---

대량의 데이터 속에서 의미있는 정보를 찾아내는 과정

• Data Cleaning
  • 데이터에 섞여있는 노이즈, 에러 등을 제거하는 과정
• Data Warehouse
  • 대량의 데이터들이 저장된 저장소
• Task-relevant Data
  • 현재 진행하고 있는 Task와 관련된 데이터만 Warehouse로부터 추출
• Data Mining
  • 데이터로부터 의미있는 데이터를 추출하는 과정
• Pattern Evaluation
  • 데이터 마이닝의 결과를 분석 및 평가
  • 여기서 의미있다고 평가된 데이터는 Knowledge가 되고, Data Warehouse에 통합된다

 

Data Mining: Confluence of Multiple Disciplines

---

데이터 마이닝을 하기 위해 다양한 기술들이 사용된다

• 여러 분야와 관련이 있다

 

Functionalities for Data Mining

---

데이터 마이닝의 기능들

• 데이터 마이닝의 목적이라 생각할 수도 있다

 

Frequent Patterns, Association Rules

---

Frequent Pattern을 파악하고, 그로부터 Association Rule들을 추출

• Ex) Diaper -> Beer
  • { Diaper, Beer }가 데이터에 함께 많이 등장하는 경향이 있고
  • 그 중에서 Diaper를 산 사람들이 Beer도 함께 사는 경향을 보인다
  • 그 이유는 아빠들이 기저귀를 사러 갔다가, 맥주도 함께 사는 경우가 많기 때문
  • 하지만 반대로 맥주를 사러 갔다가 기저귀를 사는 경우(Beer -> Diaper)는 상대적으로 적을 것이다
  • 그렇기 때문에 Pattern 속에서 Rule을 찾아내는 것도 중요
• 이 정보가 어떤 의미가 있을까?
  • 이런 정보를 알면, 마트에서 기저귀와 맥주를 함께 배치한다면 매출이 증가할 것이다
  • 의미있는 정보임!

 

Classification and Regression

---

클래스를 분류하거나, Regression을 하는 기능

• Classification: 새로운 데이터가 들어왔을 때, 해당 데이터를 보고 클래스를 분류
• Regression: 새로운 데이터가 들어왔을 때, 해당 데이터를 보고 특정 값을 예측
• 이건 주로 Machine Learning을 이용해서 이루어진다

 

Cluster Analysis

---

클러스터를 분석

• Classification과 다르게 데이터를 분류하는 것에는 관심이 없고, 데이터 자체에 관심이 있다
• 유사한 데이터끼리 그룹화를 시킨다

 

Outlier Analysis

---

일반적인 데이터들과 동떨어진 Outlier를 찾는다

• 그러한 Outlier는 Noise, Error가 될 수 있기 때문에 찾는 것이 의미가 있다

 

Trend and Evolution Anylsis

---

데이터를 통해 트렌드와 변화를 파악

• Sequential Pattern Mining
  • 연속적으로 이루어지는 패턴을 분석
  • Frequent Pattern은 동시에 일어나는 패턴이지만, Sequential Pattern은 연속적으로 이루어지는 패턴을 분석
  • Ex) Digital Camera -> Large SD Memory
  • 디지털 카메라를 구매한 사람은, 얼마 후에 SD 카드를 구매하는 경향이 있다
  • 처음 카메라를 살 때는 사지 않지만, 조금 쓰다보니 용량이 부족해서 구매하게 되는 경향이 있다 (연속적)