Regularization - L1 norm & L2 norm
Loss Function에 가중치들의 Norm을 더해서, Overfitting을 방지하고 Generalization 성능을 높이는 방법
학습이 진행됨에 따라 Loss 값이 점점 작아지면서
Outlier 등에 의해 가중치의 값이 과하게 커질 수 있는데,
Loss Function 업데이트 과정에서 가중치들의 Norm을 더해서
특정 노드와 노드 간의 가중치 값이 너무 커지는 것을 방지하는 효과
Pytorch에서는 "weight decay"로 구현돼있음 (L2-Norm)
<L2-Norm>
<L1-Norm>
w 값에 상수항을 빼줌
▶ 애초에 작은 가중치는 0으로 수렴하게 된다.
▶ 몇 개의 중요한 가중치만 남게 된다.
▶ Sparse modeling에 적합
미분 불가능
<References>
https://m.blog.naver.com/laonple/220527647084
[Part Ⅲ. Neural Networks 최적화] 2. Regularization - 라온피플 머신러닝 아카데미 -
Part I. Machine Learning Part V. Best CNN Architecture P...
blog.naver.com
https://dp-story.tistory.com/4
2. Sparse modeling 소개
1. Sparse modeling이란? Linear equation \({\bf y = Ax}\)가 있다고 생각해보자, \(\bf y\)는 \(\bf m \times 1\)행렬이고, \(\bf A\)는 \(\bf m \times n\) 행렬, \(\bf x\)는 \(\bf n \times 1\)행렬이고, \(\bf m \ll n\) 이다. \(\bf y\)는
dp-story.tistory.com
'Data Science' 카테고리의 다른 글
| Entropy & Surprise (0) | 2023.04.26 |
|---|---|
| Adaboost (0) | 2023.04.25 |
| Batch Normalization (배치 정규화) (0) | 2023.04.24 |
| L1 & L2 Norm / Batch Normalization / Adaboost (0) | 2023.04.23 |
| Maximum Likelihood Estimation (0) | 2022.12.19 |
