[Docker] 도커 컨테이너 메모리 제한 오류

발생한 오류

도커 컨테이너 안에서 딥러닝 모델을 학습을 돌려놓고 나중에 확인해 보니 아무런 오류 메시지 없이 실행이 중단되고 도커 컨테이너에서도 나와져 있었다. 

 

GPU 메모리가 부족하면 애초에 학습이 실행되지 않거나 OOM 에러메시지라도 떴을 텐데

에러 메시지가 없어서 오류의 원인도 찾지도 못하고 헤메던 중에 

도커 데스크탑의 extensions에서 Resource Usage를 알게 되어 이 extensions을 통해 cpu 사용량, 메모리 사용량 추이를 확인하니 메모리 사용량이 증가하다가 한계에 다다르면 학습이 중단되는 것을 확인할 수 있었다. 

 

GPU가 아닌 CPU 메모리가 부족해져서 중단되었던 것을 알게 되고 여러 해결 방법을 찾아보다가 

도커 데스크탑 자체가 메모리를 많이 잡아먹는다는 내용이 많았고, 작업 관리자를 확인해 봤을 때도 VmmemWSL이 메모리를 굉장히 많이 차지해서 제한하는 방법이 나온 글들이 많이 있었다. 

(VmmemWSL 메모리만 32G까지 올라갔었다.)

 

 

 

그래서 wslconfig 파일을 통해 메모리 제한도 해보고 컨테이너 자체에 메모리 제한도 해봤지만 본인의 경우에는 증가하는 메모리가 학습에 필요한 메모리였던 것이었는지 제한한 메모리 안에서 학습을 진행하지 못하고 여전히 메모리가 증가하다가 넘치기 전에 killed 메시지를 내뱉고 중단되었다. 

 

(해결) 방법

결국 메모리를 구입하기로 결정 . ....😭

 

---

wslconfig 파일 사용 및 도커 컨테이너 메모리 사용 제한 방법이 궁금하시면 아래 링크에 있습니다!

[Docker] .wslconfig로 Docker가 사용하는 리소스 제한하기(VmmemWSL) (tistory.com)

[Docker] .wslconfig로 Docker가 사용하는 리소스 제한하기(VmmemWSL)

 

[Docker] 컨테이너 메모리 사용 제한 방법 (tistory.com)

[Docker] 컨테이너 메모리 사용 제한 방법