multi-variable linear regression

해당 게시물은 Edwith에서 제공하는
머신러닝과 딥러닝 BASIC을 듣고 요약 정리한 글입니다.

Predicting exam score

Regression using three inputs(x1, x2, x3)

multi-variable/feature

3가지의 변수(x1, x2, x3)을 이용해 Y를 예측

Hypothesis

Cost function

Multi - Variable

• Hypothesis

  $$H(x_1, x_2, x_3, ..., x_n) = w_1x_1 + w_2x_2+ w_3x_3 + ... + w_nx_n + b$$

Matrix

• 데이터의 개수가 늘어날 때 사용하면 된다.
• Matrix multiplication(행렬 곱셈)을 사용

Hypothesis using matrix

• Hypothesis

  $$w_1x_1 + w_2x_2 + w_3x_3 + ... + w_nx_n$$

• Matrix multiplication

  $$(x_1 x_2 x_3) \cdot \begin{pmatrix}w_1\\w_2\\w_3\end{pmatrix} = (x_1w_1 + x_2w_2 + x_3w_3)$$

Hypothesis와 다르게 행렬 곱셈은 X가 앞에 나오기 때문에
matrix를 사용할 때 X를 앞에다 쓴다.

Many x instances

Hypothesis에서 x는 3개 밖에 없지만 해당 table의 instance는 5개
이곳에서 matrix multiplication을 사용
각각의 instance를 계산할 필요 없이 사용 가능한 장점

[5, 3] X [3, 1] = [5, 1]

보통 [5, 3]에서 3은 variable의 갯수, 5는 instance의 갯수로 주어진다.
Linear regression에서 출력값 또한 보통 주어진다.
주어진 값을 토대로 W를 추측 가능하다.

[5, 3] X [?, ?] = [5, 1]

위의 내용을 토대로 W가 [3, 1]의 크기임을 예측 가능

WX vs XW

• Lecture(theory)

  $$H(X) = Wx + b$$

• Implementation (TensorFlow) $ H(X) = XW

  $$$$