L2 norm (2) 썸네일형 리스트형 Regularization - L1 norm & L2 norm Regularization - L1 norm & L2 norm Loss Function에 가중치들의 Norm을 더해서, Overfitting을 방지하고 Generalization 성능을 높이는 방법 학습이 진행됨에 따라 Loss 값이 점점 작아지면서 Outlier 등에 의해 가중치의 값이 과하게 커질 수 있는데, Loss Function 업데이트 과정에서 가중치들의 Norm을 더해서 특정 노드와 노드 간의 가중치 값이 너무 커지는 것을 방지하는 효과 Pytorch에서는 "weight decay"로 구현돼있음 (L2-Norm) w 값에 상수항을 빼줌 ▶ 애초에 작은 가중치는 0으로 수렴하게 된다. ▶ 몇 개의 중요한 가중치만 남게 된다. ▶ Sparse modeling에 적합 미분 불가능 https://m.. L1 & L2 Norm / Batch Normalization / Adaboost Regularization - L1 norm & L2 norm Loss Function에 가중치들의 Norm을 더해서, Overfitting을 방지하고 Generalization 성능을 높이는 방법 학습이 진행됨에 따라 Loss 값이 점점 작아지면서 Outlier 등에 의해 가중치의 값이 과하게 커질 수 있는데, Loss Function 업데이트 과정에서 가중치들의 Norm을 더해서 특정 노드와 노드 간의 가중치 값이 너무 커지는 것을 방지하는 효과 Pytorch에서는 "weight decay"로 구현돼있음 (L2-Norm) w 값에 상수항을 빼줌 ▶ 애초에 작은 가중치는 0으로 수렴하게 된다. ▶ 몇 개의 중요한 가중치만 남게 된다. ▶ Sparse modeling에 적합 미분 불가능 https://m.. 이전 1 다음
