Loss Surface 란?

들어가기전,

loss function이란?

- 모델이 내놓은 예측값과 실제 정답이 얼마나 다른지를 나타내는 지표로서 정의됨 (모델 학습의 목표는 loss값을 최소화하는 W,B를 찾는 것)

- Loss function은 대표적으로 MSE(Mean Squared Error)와 CEE(Cross Entropy Error)가 자주 사용됨

 

Loss surface

머신 러닝 모델의 손실 함수가 그래프로 표현된 것입니다.

- 최저점을 찾아가는 과정을 시각화함으로써 모델을 이해하고 설계하는데 인사이트를 줌

--  신경망의 목적함수(=고차원의 목적 함수)를 사람이 이해할 수 있는 3차원 공간안에 표현함으로써, 신경망의 훈련 과정을 더 잘 이해할 수 있으며, 네트워크 설계에 필요한 인사이트를 얻을 수 있음 

 

- 딥러닝에서 모델은 Loss function의 내놓은 값(Loss)을 줄이는 방향으로 학습이 진행됨

-> 이 과정에서 parameter가 변함에 따라서 loss값이 변하게 되는데, parameter 개수가 2개이하가 아닌이상 사람이 알아볼 수 있는 형태로 loss 그래프를 그리기가 어려움

-> parameter가 2개일때 loss값(z축)이 어떻게 변하는지를 나타낸 그림이고,  loss값들로 이루어진 surface = loss surface 라고 한다

 

 

 

참고

https://mlleo.github.io/ml/ML_Review1/

https://github.com/MinyeLee/RL_LossSurfacehttps://mlleo.github.io/ml/ML_Review1/