인공신경망을 배우다 보면 딥러닝 아키텍쳐에서 activation function(활성화함수)이 들어있는 것을 볼 수 있다. 처음에는 sigmoid function이 있고, 그 뒤에는 relu 등으로 다양한 activation function이 있는 것을 보게 되는데, 정작 이 활성화함수가 뭐고, 왜 필요한지에 대해서는 모르는 경우가 있다. 나 또한 그냥 넘어갈 뻔 했으나, 복잡한 아키텍쳐로 접어들면서 레이어마다 activation function이 왜 필요한지에 대해 궁금해졌고, 그 때문에 아래와 같은 포스팅을 하게 되었다. 1. Activation Function이 무엇인가? 간단히 말하면, 활성화함수는 데이터 내에에서 네트워크가 복잡한 패턴을 학습할 수 있도록 인공신경망에 추가되는 함수다. 단일 퍼셉..

Logistic Regression Computing Hypothesis Computing Cost Function Evaluation Higher Implementation Logistic Regression Hypothesis $${H(X) = \frac{1}{1 + e^{-W^TX}}}$$ Cost $${cost(W) = -\frac{1}{m}\sum ylog(H(x)) + (1-y)(log(1-H(x)))}$$ if ${y \simeq H(x)}$, cost is near 0 if ${y \ne H(x)}$, cost is high ${P(x = 1) = 1- P(X = 0)}$ X : ${m\times d}$ 차원, W : ${d\times 1}$ 차원 sigmoid 함수를 이용하여 0과 1에 ..