HDF5 LargeSize Data 딥러닝 인공지능 파이썬 python dataset

지금까지이 책에서 우리는 기계의 주 메모리에 맞을 수있는 데이터 세트로만 작업했습니다. 소규모 데이터 세트의 경우 이는 합리적인 가정입니다. 각 개별 이미지를 로드하고 전처리 한 다음 네트워크를 통해 공급되도록 허용하기 만하면됩니다. 그러나 대규모 딥러닝 데이터 세트 (예 : ImageNet)의 경우 한 번에 데이터 세트의 일부 (예 : 미니 배치)에만 액세스하는 데이터 생성기를 생성 한 다음 배치가 …