Cost 함수 소개

해당 게시물은 Edwith에서 제공하는
머신러닝과 딥러닝 BASIC을 듣고 요약 정리한 글입니다.


Sigmoid?

0에서 1사이의 값을 필요로 하다.


SoftMax

\begin{align} S(y^i) = \frac{e^{y^i}}{\displaystyle \sum_{j}^{} e^{y^j}} \end{align}

SoftMax을 이용하여 수치를 0에서 1사이의 값으로 변환하고
One Hot Encoding을 이용하여 마지막 확률을 예측


Cost Function

Cross - Entropy를 사용 \begin{align} D(S, L) = - \displaystyle \sum_{i}^{} L_i log(S_i) \end{align}

Logistic costCross entropy는 결국 같은 식 \begin{align} C(H(x), y) == D(S, L) \end{align}

Cost Function \begin{align} Loss = \frac{1}{N} \displaystyle \sum_{i}^{} D(S(Wx_i+b), L_i) \end{align}

Cost를 계산하며 Gradient descent알고리즘을 사용해 최적화된 값을 찾는다.