Perceptron

Perceptron 퍼셉트론의 동작은 뉴런 하나의 weighted sum이 임계치보다 크면 1을 출력하고, 작으면 0을 출력하는 것이다. * 참고로 perceptron의 활성화함수는 sign function이고, logistic regression의 활성화함수는 sigmoid function이다. 이 차이는 활성화 함수가 미분가능한가, 미분불가능한가의 차이이며 이는 backpropagation이 가능한가, 불가능한가의 차이로 연결된다. backpropagation을 통해 gradient descent 방식의 weight update가 가능하게 되었고 이는 깊은 층 모델로 이어지게 되었다. 퍼셉트론을 식으로 나타내면, 다음과 같다. * 참고로, 위 식의 의미를 시각화하여 보면, 두 벡터 간의 내적값이 양의..
딥러닝 2019. 11. 5. 11:49
1