본문 바로가기
  • Hello_
728x90
반응형

Deep Learning/Pytorch2

[Pytorch] Dataloader의 num_workers와 memory의 연관성 본 포스팅에서는 Dataloader의 인자 중 하나인 num_workers와 swap memory의 연관성에 대해 얘기하고자 합니다. num_workers - swap memory 연관성 요즘 3D 영상 학습을 대용량으로 진행하다 보니 swap memory가 다 차서 오류가 발생하거나 알고리즘 속도가 저하되는 경우가 굉장히 많아서 스트레스를 받고 있는 상황인데요. 물론 이를 방지하기 위해 gc.collect를 활용하지만, for 문 안에 모두 넣고 도배를 해봐도 swap memory 문제가 계속적으로 발생하더군요.. 오류는다음과 같이 발생했습니다. "RuntimeError: Pin memory thread exited unexpectedly"로 런타임 오류가 발생했습니다. 그리고 혹시나 했는데swap m.. 2023. 2. 22.
[Pytorch] torchvision을 활용하여 dataset 다운로드하기 본 포스팅에서는 pytorch의 torchvision을 활용하여 범용적으로 사용하는 데이터셋을 다운로드하고 이를 시각화 및 분석해 보겠다. torchvision torchvision은 컴퓨터 비전에서 많이 사용되는 데이터셋, 모델 아키텍처, 이미지 변환 등의 함수들을 제공하는 pytorch 라이브러리이다. torchvision의 세 가지 중점적인 기능 중 오늘은 데이터셋에 대해 말해보겠다. torchvision.datasets를 활용하여 오픈 데이터셋을 다운로드할 수 있으며, 컴퓨터 비전에서 많이 사용되는 오픈 데이터셋으로는 MNIST, CIFAR10, CIFAR100, STL10, SVHN 등이 있다. 위 데이터셋들 중 MNIST, CIFAR10, STL10, SVHN을 직접 다운로드해 보고 시각화 및.. 2023. 2. 2.
728x90
반응형

티스토리툴바