vanishing gradient (1) 썸네일형 리스트형 Vanishing Gradient 와 Dead Neuron 개요두 문제는 인공 신경망에서 학습을 방해하는 중요한 문제로, 각기 다른 메커니즘과 원인에서 발생합니다. 문제의 원인과 차이점을 명확히 알아보겠습니다. 1. Vanishing Gradient 문제정의: 역전파(backpropagation) 과정에서 가중치 업데이트를 위한 gradient(기울기)가 층을 지나면서 점점 작아져, 최종적으로는 거의 0에 가까워지는 문제를 말합니다. 이로 인해 네트워크의 초기 층은 거의 학습되지 않게 됩니다.발생 원인: 주로 sigmoid 또는 tanh 같은 활성화 함수에서 발생하며, 이 함수들은 특정 입력 값에서 기울기가 매우 작기 때문에 역전파 과정에서 gradient 가 소멸하는 경향이 있습니다.영향: gradient 가 소멸되면서 가중치 업데이트가 제대로 이루어지지 않아.. 이전 1 다음
