12. Evaluation & Ensemble

Classification Model의 성능을 측정하는 방법과 앙상블에 대해서 다룰 것이다

 

Accuracy Evaluation

---

모델의 정확성을 평가

• 테스트 데이터를 통해서 모델의 분류 정확성을 평가 한다
• Test Data
  • 정확성 측정을 위해 사용되는 데이터 셋
  • <Feat 1, Feat 2, ..., Feat n, Class Label>의 형태
  • 모델에 입력할 때는 정답 클래스를 제외하고 입력한 후, 예측값과 주어진 Class Label을 비교한다
• Accuray = 모델이 정확하게 분류한 개수
• 테스트 데이터는 학습에 사용되지 않은 독립적인 데이터여야 한다
  • 학습에 사용된 데이터로 테스트를 하는 건, 이미 답을 아는 문제를 푸는 것임

 

Confusion Matrix

---

분류 모델 성능 평가 지표

• 각 엔트리는 class i인 데이터에 대해 모델이 class j로 예측한 개수를 의미한다
  • True Positive: Yes인 값을 Yes라고 분류하는 것 (정답)
  • False Negative : No인 값을 No라고 분류하는 것 (정답)
  • True Negative: Yes인 값을 No라고 분류하는 것 (오답)
  • False Positive: No인 값을 Yes라고 분류하는 것 (오답)

 

예시

• 모델의 정확성은 올바르게 분류된 데이터의 비율 이다
  • (2588 + 6954) / 10000
• 모델의 오류는 (1.0 - Accuracy)

 

Alternative Accuracy

---

Accuracy를 대체하는 측정값들

• Sensitivity(Recall) = true positive / positive
  • positive한 데이터 중에, 모델이 positive라고 인식한 데이터의 비율
  • Sensitivity를 Recall이라고도 하는데, 일반적으로 Recall으로 더 알려져있다
• Sepecificity = true negative / negative
  • negative한 데이터 중에, 모델이 negative라고 인식한 데이터의 비율
• Precision = true positive / (true positive + false positive)
  • Yes(positive)로 분류한 것 중에 실제로 positive인 것의 개수

 

Recall과 Precision은 양성에 민감한 모델 의 성능을 측정할 때, 사용된다

하지만 둘은 서로 trade-off 관계 에 있다

=> 그래서 둘의 적절한 경계를 찾은 평가 지표가 F1-score

 

F1-score

• 모델의 성능을 측정할 때, F1-score라는 것도 많이 사용
• Precision과 Recall은 서로 의존적(Dependent) 이다
• 서로의 빈틈을 보완해주는 관계

 

Recall이나 Precision 중 하나만 성능의 지표로 사용하면 어떤 문제가 있을까?

• 모든 데이터에 대해서 Yes(Positive)로 분류하게 되면, Recall값이 항상 100%로 나온다
  • Positive한 데이터가 모두 Positive로 분류되긴 할테니까

 

• Positive한 데이터 중에 하나만 정확하게 Yes로 분류한 경우
• 하나만 제대로 분류했는데도, Precision이 100%로 나온다

 

Recall이나 Precision 중에 하나만 사용했을 때는, 이러한 문제가 있기 때문에
서로가 서로의 단점을 보완 해준다

 

Evaluation Protocols

---

성능을 평가하기 위한 방법들

 

Holdout Method

---

주어진 데이터를 랜덤하게 2개의 독립된 파티션으로 나눈다

• 파티션은 각각 Training set, Test set으로 사용
  • Training set: 모델을 학습하기 위해서 사용
  • Test set: 모델의 성능을 평가하기 위해서 사용
• K번 반복해서 성능을 측정한다
  • 랜덤하게 파티션을 Split하기 때문에, 한번으로는 충분하지 않다
  • 여러번 반복한 결과의 평균을 사용한다
  • K가 커질수록, 신뢰도가 올라감

 

Cross-validation

---

동일한 크기를 갖는 K개의 Subset으로 Data를 분리한다

• K-fold Cross-validation 이라고도 불린다
• K는 일반적으로 5 또는 10으로 잡는 경우가 많다
• i번째 iteration에서는 i번째 Fold를 테스트 데이터로 사용하고, 나머지 Fold를 학습용으로 사용 한다
• K번의 iteration에서 나온 결과의 평균을 성능으로 사용한다

 

Leave-one-out

---

K-fold Cross-validation의 극단적인 경우

• K-folds에서 K를 데이터의 개수로 잡는다
• 즉, 하나의 Fold가 하나의 데이터만 담고 있게 된다
• 데이터의 수가 매우 작은 경우에 사용한다

 

Stratified Cross-validation

---

K-fold Cross-validation의 또 다른 특별 케이스

• 각 Fold에 들어있는 데이터들의 Class 분포가 일정하도록 Fold를 분리 한다
• 만약 가우시안 분포를 따르도록 한다고 하면, 모든 Fold의 데이터들의 Class가 가우시안 분포를 따라야 한다

 

Ensemble

---

앙상블

• 성능을 향상시키기 위해서 여러 개의 모델을 사용 한다
• K개의 학습된 모델들의 예측값을 종합해서 최종적인 예측값으로 사용한다
• Popular Ensemble Method
  • Bagging: 단순하게 K개의 모델이 예측한 결과를 다수결에 따라 최종 결과 예측
  • Boosting: 각 모델마다의 Weight를 고려해서 최종 결과를 결정한다
  • Model Ensemble: 여러 종류의 모델을 앙상블해서 사용한다
    • Ex) SVM + Decision Tree + Neural Network + ...

이미 앞에서 Random Forest할 때 배웠던 개념이다

 

Bagging

---

Bootstrap Aggregation

• Training
  • 각 Iteration마다 Original Data로부터 랜덤하게 샘플된 데이터 셋을 사용한다
  • 이때 사용되는 Sample Data(Bootstrap)의 크기는 원본 데이터 셋의 크기와 동일해야 한다
  • i번째 Bootstrap을 사용해서 i번째 모델 Mi가 학습된다
• Classification
  • 각 모델은 테스트 데이터에 대해서 예측값을 반환한다
  • Bagging은 가장 많이 나온 예측값을 최종 결과로 선택한다 (다수결)

 

Boosting

---

각 모델의 성능에 기반한 Weight를 고려하여 최종 값을 결정하는 모델

• Iteration마다 Sample(Bootstrap)을 생성해서, K개의 모델을 학습시키는 개념은 동일하다

 

과정은 다음과 같다

1. 초기에는 각 데이터마다 1/d의 Weight를 부여한다
   • 이 Weight는 데이터를 샘플링할 때도 적용되는 개념이다
   • Weight가 높은 데이터가 샘플링될 확률이 높다
2. 1 ~ K까지의 Iteration을 통해서 K개의 모델을 학습하고, 테스트 데이터를 사용해서 각 모델의 성능을 평가한다
   • 이때 테스트 데이터는 샘플되지 않은 데이터로 구성되어야 한다
3. i번째 모델이 제대로 분류하지 못한 데이터에 대해 Weight를 높여서, i+1번째 모델에서 샘플링되어 학습될 확률을 높인다
4. 각 모델이 보였던 Accuracy를 기반으로 최종 Vote를 할 때 사용되는 Weight를 결정한다