최적화1 손실함수 및 최적화 손실함수 신경망이 최적의 매개변수 값을 탐색하는 하나의 지표로 오차제곱합과 교차 엔트로피를 많이 사용한다. 오차제곱합 오차제곱합을 수식으로 나타내면 다음과 같다. $$E=\frac{1}{2}\sum_{k}^{}(y_k-t_k)^2$$ 교차 엔트로피 오차 교차 엔트로피 오차를 수식으로 나타내면 다음과 같다. $$E=-\sum_{k}^{}t_klog y_k$$ 위 그림을 보면 x가 1일 때 y는 0이 되고 x가 0에 가까워질수록 y의 값은 점점 작아진다. 즉 정답에 해당하는 출력이 커질수록 0에 가까워지며, 반대로 정답일 때의 출력이 작아질수록 오차는 커진다. 미니배치 학습 이전의 오차함수는 데이터 하나에 대한 손실함수만 생각하였지만 이제는 모든 훈련데이터셋에 대한 손실함수의 값을 구해야 한다. 예를 들어 .. 2022. 11. 9. 이전 1 다음
