오늘은 뉴럴 네트워크의 중요한 개념 forward propagation과 backward propagation을 정리하려고 한다. 뉴럴 네트워크의 학습 과정을 간단히 설명하면 (regression algorithm과 비슷하게) 파라미터 W, b (또는 Theta)를 이용하여 각 레이어의 activation과 loss를 계산하고, gradient descent 기법을 적용하기 위해 파라미터들의 partial derivative를 구하게 된다. (그리고 learning rate에 따라 파라미터를 업데이트할 것이다) 여기서 W, b를 이용하여 각 layer의 activation 값 (a), 마지막 prediction 값(y hat), 그리고 loss (cost)를 구하는 과정이 forward propagati..
