Cost 함수 소개

February 24, 2019

해당 게시물은 Edwith에서 제공하는
머신러닝과 딥러닝 BASIC을 듣고 요약 정리한 글입니다.

Sigmoid?

0에서 1사이의 값을 필요로 하다.

WX = y \begin{bmatrix} 2.0 \rightarrow p = 0.7 \\ 1.0 \rightarrow p = 0.2 \\ 0.1 \rightarrow p = 0.1 \\ \end{bmatrix}

S(y^i) = \dfrac{e^{y^i}}{\displaystyle \sum\_{j}^{} e^{y^j}}

y \begin{bmatrix} 2.0 \\ 1.0 \\ 0.1 \\ \end{bmatrix} \rightarrow \begin{bmatrix} 0.7 \\ 0.2 \\ 0.1 \\ \end{bmatrix} \rightarrow \begin{bmatrix} 1.0 \\ 0.0 \\ 0.0 \end{bmatrix}

SoftMax을 이용하여 수치를 0에서 1사이의 값으로 변환하고
One Hot Encoding을 이용하여 마지막 확률을 예측

Cross - Entropy를 사용

D(S, L) = - \displaystyle \sum\_{i}^{} L_i log(S_i)

Logistic cost와 Cross entropy는 결국 같은 식

C(H(x), y) == D(S, L)

Cost Function

Loss = \dfrac{1}{N} \displaystyle \sum\_{i}^{} D(S(Wx_i+b), L_i)

Cost를 계산하며 Gradient descent알고리즘을 사용해 최적화된 값을 찾는다.

Software Engineer at KakaoPay Corp.