[혼공머신] 다양한 분류 알고리즘

들어가며

    이 글은 한빛미디어에서 진행하는 혼공학습단 8기에 참여하면서 공부한 것들에 대한 글입니다. 책은 제 돈으로 구매하였으며, 글의 주된 내용은 책을 기반으로 하여 작성되었습니다.

 

- 구성

1. 내용 정리

2. 기본 미션 - Ch.04(04-1) 2번 문제 풀고, 풀이 과정 설명하기

3. 선택 미션 - Ch.04(04-2) 과대적합/과소적합 손코딩 코랩 화면 캡처하기 

 

1. 내용 정리

1) 로짓(Logit)

로짓은 다음과 같이 정의됩니다.

 

$$ Logit = ln(\frac{p}{1-p}) $$

 

2) 시그모이드(sigmoid) 함수

시그모이드 함수는 다음과 같이 정의됩니다.

 

$$ sigmoid(x) = \frac{1}{1+exp(-x)} $$

 

- 임의의 x값을 입력으로 받아서 확률값의 범위인 0~1사이의 값을 출력하는 함수입니다.

 

3) 소프트맥스(softmax) 함수

 

$$y_i = \frac{exp(x_i)}{\sum_{i=1}^{n} exp(x_i)}$$

 

- 입력으로 들어온 값을 0~1 사이의 값으로 변환하고 모든 값들의 합이 1이 될 수 있도록 변경해주는 함수입니다.

 

시그모이드 함수는 하나의 선형 방정식의 출력값을 0~1 사이로 압축합니다. 이와 달리 소프트맥스 함수는 여러 개의 선형 방정식의 출력값을 0~1 사이로 압축하고 전체 합이 1이 되도록 합니다. 이를 위해 지수 함수를 사용하기 때문에 정규화된 지수 함수라고도 부릅니다.  

- 혼자 공부하는 머신러닝+딥러닝; 한빛미디어; 2020; 박해선 저 / Chapter 04 | 다양한 분류 알고리즘 190p

 

4) 정보 엔트로피(information entropy)

$$H = -\sum_{i=1}^{n} p_i log(p_i)$$

 

5) 교차 엔트로피(cross entropy)

$$H(P, Q) = -\sum_{i=1}^{n} p_i log(q_i)$$

 

(소프트 맥스, 정보 엔트로피, 그리고 교차 엔트로피 수식 출처: 파이썬 날코딩으로 알고 짜는 딥러닝; 한빛미디어; 2019; 운덕호 저)

 

2. 기본 미션 - Ch.04(04-1) 2번 문제 풀고, 풀이 과정 설명하기

    로지스틱 회귀가 이진 분류에서 확률을 출력하기 위해 사용하는 함수는 무엇인가요?

1) 시그모이드 함수

- 이진 분류를 위해서는 시그모이드 함수를 사용합니다. 파이썬에서 확률 출력을 위해서는 predict_proba()메소드를 사용합니다.

2) 소프트맥스 함수

- 다중 분류를 위해서는 소프트맥스 함수를 사용합니다.

3) 로그 함수

4) 지수 함수

 

3. 선택 미션 - Ch.04(04-2) 과대적합/과소적합 손코딩 코랩 화면 캡처하기 

 

긴 글 읽어주셔서 감사합니다. 
글과 관련된 의견은 언제든지 환영입니다.