오뚝이개발자

많이들 헷갈리는 개념 중 하나가 바로 배치(batch)와 에폭(epoch)이다. 둘은 서로 다른 개념이지만 모두 학습의 성능을 결정하는 중요한 요소이다. 배치와 에폭의 개념 딥러닝에서 모델이 전체 학습 데이터를 한 번씩 본 것을 '에폭을 돌았다'라고 표현한다. 모델은 가중치를 한 번 업데이트하기 위해 한 개 이상의 훈련 데이터 묶음을 사용하는데, 이것을 배치라고 하고 이 묶음의 사이즈가 바로 배치 사이즈(batch size)이다. 따라서 배치 사이즈에 따라 에폭 당 훈련 횟수가 달라진다. 배치 크기와 모델 훈련 시간의 관계 100개의 훈련 데이터를 가지고 80에폭 동안 훈련시킨다고 가정해보자. 배치 크기=1이면, 모델은 1에폭 당 100번 훈련(가중치 업데이트), 총 8000번 훈련 배치 크기=10이면,..

keras를 사용해 멀티 gpu를 사용하는 방법을 알아보자. 해당 메소드는 케라스 2.0.9 버전부터 사용이 가능하니 해당 버전에 맞춰 설치해야 한다. model = Sequential() model.add(layers.LSTM(32, input_shape=(None, float_data.shape[-1]))) model.add(layers.Dense(1)) # multi-gpu 사용 from keras.utils.training_utils import multi_gpu_model model = multi_gpu_model(model, gpus=2) model.compile(optimizer=RMSprop(), loss='mae') history = model.fit_generator(train_gen,..