[혼공머신] 회귀 알고리즘과 모델 규제

들어가며

    이 글은 한빛미디어에서 진행하는 혼공학습단 8기에 참여하면서 공부한 것들에 대한 글입니다. 책은 제 돈으로 구매하였으며, 글의 주된 내용은 책을 기반으로 하여 작성되었습니다.

https://hongong.hanbit.co.kr

한빛미디어 - 혼자 공부하는 시리즈: 파이썬, 머신러닝, C언어, java, SQL...

 

- 구성

1. 내용 정리

2. 기본 미션 - Ch. 03(03-1) 2번 문제 출력 그래프 인증샷

3. 선택 미션 - 모델 파라미터에 대해 설명하기

 

1. 내용 정리 (출처: 혼자 공부하는 머신러닝+딥러닝; 한빛미디어; 2020; 박해선 저)

1) 회귀 알고리즘의 시작: ... 그는 키가 큰 사람의 아이가 부모보다 더 크지 않다는 사실을 관찰하고 이를 '평균으로 회귀한다'라고 표현했습니다. 그 후 두 변수 사이의 상관관계를 분석하는 방법을 회귀라고 불렀습니다.

 

2) 결정계수(coefficient of determination): 

$$ R^2 = 1 - \frac{(타깃 - 예측)^2의 합}{(타깃 - 평균)^2의 합} $$

 

3) 과대적합(overfitting)과 과소적합(underfitting)

과대적합: 훈련 세트에서 성능이 좋은 경우

과소적합: 테스트 세트에서 성능이 좋은 경우

 

4) 머신러닝 모델은 주기적으로 훈련해야 합니다. - 사실 머신러닝 모델은 한 번 만들고 끝나는 프로그램이 아닙니다.

 

5) 특성공학(feature engineering): 기존의 특성을 사용해 새로운 특성을 뽑아내는 작업

 

6) 샘플 개수보다 특성이 많다면 어떨까요?

 

7) print(np.sum(lasso.coef_ == 0)) > 라쏘 모델에서 사용된 특성의 수 확인 가능

 

2. 기본 미션 - Ch. 03(03-1) 2번 문제 출력 그래프 인증샷

- 코드

- 그래프

 

3. 선택 미션 - 모델 파라미터에 대해 설명하기

- 모델 파라미터(model parameter): 머신러닝 알고리즘이 찾은 값

- 하이퍼파라미터(hyperparameter): 머신러닝 모델이 학습할 수 없고 사람이 알려줘야 하는 값

(출처: 혼자 공부하는 머신러닝+딥러닝; 한빛미디어; 2020; 박해선 저)

 

긴 글 읽어주셔서 감사합니다. 
글과 관련된 의견은 언제든지 환영입니다.