지미뉴트론 개발일기

배치 크기가 커지면 학습 시간 및 GPU 메모리 사용량은 어떻게 될까요? 배치 크기가 커지면 학습 시간은 계속 줄어들까요? GPU 메모리 사용량과는 어떤 관계가 있을까요? 우선, 제가 가진 학습 코드를 통해 간단하게 실험해본 결과는 다음과 같습니다. Batch Size = 1 데이터가 약 89000개 정도이므로, 1 epoch 당 89000 스텝이 진행되고, 예상 학습 시간은 1시간 45분 정도였습니다. 모델 파라미터 + 데이터 1개 텐서 = 2207MB 정도의 메모리가 사용되는 것을 보았습니다. Batch Size = 2 89000개의 절반인 약 45000 스텝 정도가 1 epch에 진행됩니다. 학습 예상 시간은 1시간 24분 정도로 약간 줄었으나, Batch Size = 1인 경우에 비하여 절반으로 ..

Epoch vs Batch Size vs Step(Iteration) 이번 글에서는 딥러닝 분야에서 자주 사용되는 용어들인 Epoch, Batch Size, Step(또는 Iteration)에 대하여 각 단어의 정의를 알아보고 이들 간의 관계 및 차이에 대해서 살펴보도록 하겠습니다. 이해를 돕기 위하여, 1000개 이미지의 종류를 분류하는 딥러닝 모델을 학습하는 상황을 가정해보도록 하겠습니다. Epoch란? epoch는 1~1000번의 각 데이터를 모델에서 몇 번씩 복습할 것인지에 대한 횟수를 의미합니다. 가령, 5 epochs라고 하면, 위 그림처럼 1, 2, 3, ..., 1000번 이미지를 순서대로 모델에서 input으로 받는 과정을 5번 연속 수행하며 순전파 및 역전파 과정을 반복하여 거친다는 것..