태그 글 보관함:adadelta

이러한 모든 최적화 알고리즘 중에서 선택을 할 때 어떤 것을 선택해야합니까? 불행히도 그 대답은 결정적이지 않습니다. Schaul et al. 2014 년에 확률 적 최적화를위한 단위 테스트 논문에서는 이러한 최적화 방법 중 많은 것을 벤치마킹하려고 시도했으며 적응형 학습률 알고리즘이 호의적으로 수행되었지만 확실한 승자는 없음을 발견했습니다. ​ 딥러닝 최적화 알고리즘 (그리고 이를 어떤 방법을 선택하는 것)은 여전히 …

더 보기 “DeepLearning MachineLearning Optimization SGD Stochastic Gradient Descent Adagrad Adadelta RMSprop Adam Nadam”