지금까지는 네트워크를 최적화하기 위해 SGD (Stochastic Gradient Descent) 만 연구하고 사용했지만 딥 러닝에 사용되는 다른 최적화 방법이 있습니다. 특히 이러한 고급 최적화 기술은 다음 중 하나를 추구합니다. 1. 합리적인 분류 정확도를 얻기 위해 시간 (즉, 에포크 수)을 줄입니다. 2. 학습률 이외의 더 넓은 범위의 하이퍼 파라미터에 대해 네트워크를 더 “잘 작동”하도록 만듭니다. 3. 이상적으로는 SGD로 …
태그 글 보관함:최적화
딥러닝 deepLearning 최적화 머신러닝 파이썬 python dogs and cats
이 장에서는 원시 이미지를 심층 신경망 훈련에 적합한 HDF5 데이터 세트로 직렬화하는 방법을 배웠습니다. 교육이 I/O 지연으로 인해 디스크에있는 이미지 경로의 미니 배치에 액세스하는 것이 아니라 원시 이미지를 HDF5 파일로 직렬화 한 이유는 I/O 지연 때문입니다 – 디스크의 각 이미지를 읽기 위해 I/O 작업을 수행해야 합니다. 이 미묘한 최적화는 큰 문제처럼 보이지 않지만 I/O 지연은 …