Cost 함수 소개

해당 게시물은 Edwith에서 제공하는
머신러닝과 딥러닝 BASIC을 듣고 요약 정리한 글입니다.

Sigmoid?

0에서 1사이의 값을 필요로 하다.

WX=y[2.0p=0.71.0p=0.20.1p=0.1] WX = y \begin{bmatrix} 2.0 \rightarrow p = 0.7 \\ 1.0 \rightarrow p = 0.2 \\ 0.1 \rightarrow p = 0.1 \\ \end{bmatrix}

SoftMax

S(yi)=eyi_jeyjS(y^i) = \dfrac{e^{y^i}}{\displaystyle \sum\_{j}^{} e^{y^j}} y[2.01.00.1][0.70.20.1][1.00.00.0] y \begin{bmatrix} 2.0 \\ 1.0 \\ 0.1 \\ \end{bmatrix} \rightarrow \begin{bmatrix} 0.7 \\ 0.2 \\ 0.1 \\ \end{bmatrix} \rightarrow \begin{bmatrix} 1.0 \\ 0.0 \\ 0.0 \end{bmatrix}

SoftMax을 이용하여 수치를 0에서 1사이의 값으로 변환하고
One Hot Encoding을 이용하여 마지막 확률을 예측

Cost Function

Cross - Entropy를 사용

D(S,L)=_iLilog(Si)D(S, L) = - \displaystyle \sum\_{i}^{} L_i log(S_i)

Logistic costCross entropy는 결국 같은 식

C(H(x),y)==D(S,L)C(H(x), y) == D(S, L)

Cost Function

Loss=1N_iD(S(Wxi+b),Li)Loss = \dfrac{1}{N} \displaystyle \sum\_{i}^{} D(S(Wx_i+b), L_i)

Cost를 계산하며 Gradient descent알고리즘을 사용해 최적화된 값을 찾는다.


Written by@[Minsu Kim]
🌈22살 대학생 학생 개발자🙂