지미뉴트론 개발일기

파이토치에서 전체 데이터셋의 크기가 너무 크거나 다양한 경로에 나눠져 있는 경우 real-time으로 파일을 불러오는 방식의 데이터셋을 구현할 필요가 있습니다. 이 글에서는 실시간으로 파일을 불러오는 데이터셋의 형태를 구현하는 예제를 간략하게 정리해보도록 하겠습니다. 상황 가정 이해를 돕기 위하여 아래와 같이 images 디렉토리 내에 여러 이미지 파일이 저장된 상황을 가정해보도록 하겠습니다. 지금은 이미지 파일이 4개뿐이지만, 아주 많은 수의 이미지가 있는 경우 모든 데이터를 메모리에 동시에 올리는 것이 어려울 수 있습니다. 이런 문제를 해결하기 위하여 real-time 방식의 데이터셋 및 데이터로더를 정의하게 되면 메모리 부족 문제도 해결되면서 iteration 마다 다른 Data Augmentati..

파이썬 파이토치 DataLoader 이해하기 파이토치 모듈에서 모델 학습 과정 시 각 step 마다 데이터를 batch size 크기로 분할하여 넣어 효과적이고 효율적인 학습 진행을 돕는 dataloader의 기능을 이해해보고 사용법 예시 코드를 쉽고 간략하게 정리해보도록 하겠습니다. DataLoader의 기능, 사용 이유 이해를 돕기 위하여 x, y 두 벡터를 input으로 받는 모델을 학습하려는 상황을 가정해보겠습니다. 그리고 아래와 같이 1000개의 데이터가 있다고 생각해보도록 하겠습니다. # 다음과 같은 형태로 데이터가 존재한다고 가정 data = [[x1, y1], [x2, y2], [x3, y3], ... , [x1000, y1000]] 이제 이 데이터를 통하여 모델을 학습하려면 어떤 형태로 ..