유사개발자 샤이와 무지

강의를 듣다가 의문점이 생겼다. 교수님께서 말씀하신 것을 요약해보자면 Sigmoid 함수는 가운데 부분 이외엔 gradient가 0이며 가운데는 기울기의 변화가 큰 편이나 그마저도 hidden layer의 수가 증가함에 따라 그 영향이 사라진다. 그래서 sigmoid가 각광받지 못하는 것이다. 그래서, sigmoid 이외 다른 함수들도 본인만의 가치가 있기에 사용되었을 것이다. 그럼 hidden layer에서 자주 쓰이는 활성화 함수들은 각각 어떤 가치를 가질까 라는 관점에서 생각해보자. 1. Sigmoid 아마 흔히들 가장 먼저 만나게 되고 가장 먼저 써보게 될 함수일 것이다.(예가 아니라면 높은 확률로 ReLU일 것이다.) 이 함수들의 역사 이런 걸 다 빼놓고 수학적으로 살펴보면 이렇다. (일단 범위..