오뚝이개발자

윈도우에서 개발을 하다보면 불편한 점이 한 두가지가 아니다. (일단 ls 대신 dir 칠때부터 깊은 빡침이...) 윈도에서도 리눅스 환경을 사용할 수 있는 방법이 있다. WSL을 업데이트한 WSL2가 나오면서 이젠 많이 편해졌다고 한다. WSL이란 Windows Subsystem for Linux의 줄임말로 윈도우에서 리눅스 환경을 사용할 수 있도록 해주는 도구이다.(리눅스에서 사용하던 커맨드들 그대로 사용가능하다!!!) Step1 : WSL 설치하기 윈도우 우측하단에 검색창에 "windows 기능"이라고 치고 들어가면 아래와 같은 창이 뜬다. 여기서 Linux용 Windows 하위 시스템의 체크박스에 체크를 해주면 된다. 필요한 파일들의 설치가 진행되고 재부팅이 될 것이다. Step 2 : Ubuntu..

Error 발생 상황 모델 학습을 돌리다보면 다음과 같은 에러를 종종 만나게 된다. device-side assert triggered Assertion `srcIndex < srcSelectDimSize` failed. RuntimeError: CUDA error: CUBLAS_STATUS_INVALID_VALUE when calling `cublasSgemm( handle, opa, opb, m, n, k, &alpha, a, lda, b, ldb, &beta, c, ldc)` Error의 원인 GPU단에서의 에러 메시지는 이처럼 자세한 이유를 드러나지 않아 디버깅이 쉽지 않다. 위와 같은 에러의 원인은 대게 차원(dimension)이 일치하지 않아 발생하는 문제이다. 즉, input으로 모델에 주입..

GPU를 사용해 모델 학습을 돌리다보면 GPU의 사용률이 저조하게 나오는 경우가 있다. 이런 경우 충분한 자원이 있더라도 학습에 오랜 시간이 걸리게 된다. 이 때 필요한 것이 GPU 사용률을 최적화시키는 것이다. 방법은 많지만 그 중 가장 대표적인 방법을 소개하고자 한다. GPU 사용률이 저조한 이유는 대부분 CPU단에서 데이터 처리가 GPU에서의 처리 속도를 따라가지 못해 발생한다. 즉, GPU에서 처리할 데이터가 CPU에서 아직 프로세싱을 거쳐서 준비가 다 되지 않은 경우이다. num_workers 설정해주기 pytorch와 huggingface의 transformers엔 모두 num_workers라는 파라미터를 설정해줄 수 있다. 이는 학습 도중 CPU의 작업에 몇 개의 코어를 사용할지를 결정하는 ..