분류 성능 평가 지표(Metric)

분류 성능 평가 지표(Metric) : 우리가 만든 logistic Regression이 잘 만들어진 model인지를 평가하는 지표

                                            우리의 Model이 예측한 결과와 실제정답(Lable)의 차이를 이용해서 모델의 정확도를 계산

- confusion[혼란스러운] Matrix

True는 내가 맞췄다 False는 내가 틀렸다positive는 내 model의 예측값이 TrueNegative는 내 model의 예측값이 False

 

 

- 평가지표의 종류가 몇가지가 있으나 대표적인  알아보자   아래의 식은 갯수를 이야기한다

 

Precsion (정밀도) = TP /  TP + FP  -Positive 정답율 / True라고 분류한 것 중에 정말로 True인 것들의 비율

 

Recall(재현율) = hit rate(일반) = sensitivity(통계쪽에서 사용) : TP / TP + FN

-실제 True인 것 중 우리 Model이 True로 예측한 비율

-전체 positive 중에 true를 몇개 맞췄냐

 

Accuracy(정확도) : TP + TN / TP + FN + FP + TN                                    v  [ 일반적으로 정확도를 많이 사용 ]

-직관적으로 모델의 성능을 나타낼 수 있어요 !!!

-가장 큰 단점이 domain의 bias[편향]에 상당히 민감 즉 data의 편차를 고려해야 한다

                     domain : 내가 가지고 있는 data

-즉 암환자 중 거의 F 몇만 T 즉 T에 편향되어 있다

---

정확도 : 예측이 정답과 얼마나 정확한가?

정밀도 : 예측한 것중에 정답의 비율은?

재현율 : 찾아야 할 것중에 실제로 찾은 비율은?

F1 Score : 정밀도와 재현율의 평균

                    

-가장 큰 단점이 domain의 bias에 상당히 민감 즉 data의 편차를 고려해야 한다의 말은

쉬운 예시로 사람 1000명의 암 검사를 예시로 들어보자 

암검사를 했으나 1명의 사람만이 암이 판정 되었다고 가정했을때 이 특성을 가지고 학습하기 어렵다

learning machine은 반반정도가 섞여야 특성을 뽑아내서 학습을 시키기 때문이다

 

F1 Score

모델의 성능을 측정하는데 있어서 precision과 recall은 유용하게 사용됩니다. 그러나, 우리는 여전히 모델이 얼마나 효과적인지를 설명할 수 있는 한 가지 지표를 더 필요로합니다. 이 때 F1 score 가 사용됩니다.

F1 score는 precision 과 recall의 조화평균입니다. 수식은 다음과 같습니다.

F1 score는 precision과 recall을 조합하여 하나의 통계치를 반환합니다. 여기서 일반적인 평균이 아닌 조화 평균을 계산하였는데, 그 이유는 precision과 recall이 0 에 가까울수록 F1 score도 동일하게 낮은 값을 갖도록 하기 위함입니다.

 

예를 들어, recall = 1 이고 precision = 0.01 로 측정된 모델이 있다고 생각해봅시다. 위 모델에는 분명 문제가 있다고 판단할 수 있는데요. precision이 매우 낮기 때문에 F1 score에도 영향을 미치게 됩니다. 만약 일반적인 평균을 구하면 다음과 같습니다.

일반적으로 평균을 계산하면 높은 값이 나옵니다. 그러나 조화평균으로 계산하면 다음과 같은 결과를 얻습니다.

F1 score가 매우 낮게 계산된 것을 확인할 수 있습니다.