본문 바로가기

전체 글13

손실함수 및 최적화 손실함수 신경망이 최적의 매개변수 값을 탐색하는 하나의 지표로 오차제곱합과 교차 엔트로피를 많이 사용한다. 오차제곱합 오차제곱합을 수식으로 나타내면 다음과 같다. $$E=\frac{1}{2}\sum_{k}^{}(y_k-t_k)^2$$ 교차 엔트로피 오차 교차 엔트로피 오차를 수식으로 나타내면 다음과 같다. $$E=-\sum_{k}^{}t_klog y_k$$ 위 그림을 보면 x가 1일 때 y는 0이 되고 x가 0에 가까워질수록 y의 값은 점점 작아진다. 즉 정답에 해당하는 출력이 커질수록 0에 가까워지며, 반대로 정답일 때의 출력이 작아질수록 오차는 커진다. 미니배치 학습 이전의 오차함수는 데이터 하나에 대한 손실함수만 생각하였지만 이제는 모든 훈련데이터셋에 대한 손실함수의 값을 구해야 한다. 예를 들어 .. 2022. 11. 9.
활성화 함수와 출력층 설계 활성화 함수 활성화 함수란 퍼셉트론에서 입력 신호의 총합이 활성화를 일으키는지를 정하는 역할을 한다. 활성화 함수의 대표적인 예로는 시그모이드 함수, 계단 함수, relu함수 등이 있다. 이들의 종류에 대해서는 간단하니 나중에 자세히 알아보도록 하자. 활성화 함수의 대표적 특징 활성화 함수는 비선형 함수라는 특징이 있다. 이는 활성화 함수는 선형함수를 사용하면 안된다를 말하고 있다. 이는 선형 함수를 사용하면 신경망의 층을 깊게 하는 의미가 없어진다. 선형 함수의 문제는 층을 아무리 깊게 해도 은닉층이 없는 네트워크로도 똑같은 기능을 할 수 있다. 출력층 설계 신경망은 분류와 회귀 모두에 이용할 수 있다. 신경망에서 회귀에는 항등 함수를, 분류에는 소프트맥스함수를 사용한다. 항등 함수 항등 함수는 입력을.. 2022. 11. 7.
선형 연립 방정식 선형방정식과 해 미지수 $x_{1},x_{2},...,x_{n}$의 선형방정식이란 $a_{1}x_{1}+a_{2}x_{2}+...+a_{n}x_{n}=b$로 바꿀 수 있는 방정식을 말한다. 이 선형방정식의 해는 $x_{1}=k_{1},x_{2}=k_{2},...,x_{n}=k_{n}$ 또는 $u=(k_{1},k_{2},...,k_{n})\in \mathbb{K}^{n}$로서, 선형 방정식의 $x_{i}$에 $k_{i}$를 대입하였을때 $a_{1}k_{1}+a_{2}k_{2}+...+a_{n}k_{n}=b$를 만족시키며 이 경우 $u$가 이 방정식을 만족시킨다고 한다. 선형 연립 방정식 선형 연립방정식이란 똑같은 미지수를 가지는 선형 방정식의 나열이다. 이는 다음과 같은 형태로 쓸 수 있다. $$a_{11.. 2022. 11. 5.
따릉이 사용자 수 예측하기_모델 생성 및 학습 저번 시간에는 모델 학습에 필요한 데이터들을 전처리하는 과정을 거쳐 보았다. 이번 시간에는 이 데이터들을 바탕으로 모델을 생성하고 학습을 해보도록 하자. Feature Engineering & Initial Modeling sklearn.ensemble.RandomForestRegressor() 가장 먼저 랜덤 포레스트에 대하여 알아보도록 하자. 랜덤 포레스트란 오늘날 쓰이는 알고리즘 중에서 강력한 성능을 가진 알고리즘 중 하나이다. 이 알고리즘은 결정트리분류기를 여러 개를 훈련시켜서 그 결과를 통해 예측을 하는 알고리즘을 말한다. 각각의 결정트리를 훈련시킬 때 전체 훈련 세트에서 중복을 허용해 나눈 데이터셋을 훈련시키기 때문에 몇몇의 결정 트리들이 과대 적합되거나 과소 적합되어도 오차가 무시되는 경향이.. 2021. 8. 9.

티스토리툴바