반응형
SMALL
[Docker] .wslconfig로 Docker가 사용하는 리소스 제한하기(VmmemWSL)
·
Settings/Docker
Docker를 사용할 때 VmmemWSL가 차지하는 메모리가 굉장히 커져서 컴퓨터가 느려지는 느낌을 받을 때가 있습니다. 본인도 그러했던 경험을 토대로 Docker 사용 시 VmmemWSL이 차지하는 리소스를 .wslconfig 파일을 통해 제한하는 방법을 정리해보았습니다! 왜 .wslconfig 파일로 Docker 리소스를 제한해야 하는지WSL2를 통해 Docker를 사용하면 편리하지만, 기본 설정으로는 VmmemWSL이 많은 시스템 리소스를 소비할 수 있습니다. 특히, Docker 컨테이너가 여러 개 실행될 때 시스템 성능이 저하되는 문제가 발생할 수 있습니다. 이를 방지하기 위해 .wslconfig 파일을 사용하여 리소스 사용을 제한할 수 있습니다. 주요 이점은 다음과 같습니다.메모리 사용 관리: ..
[Docker] 컨테이너 메모리 사용 제한 방법
·
Settings/Docker
1. 도커 메모리 제한의 필요성도커 컨테이너는 기본적으로 호스트 시스템의 모든 자원을 공유합니다. 따라서 하나의 컨테이너가 과도하게 메모리를 사용할 경우 다른 컨테이너나 호스트 시스템 전체에 영향을 줄 수 있습니다. 이를 방지하기 위해 각 컨테이너의 메모리 사용을 제한하는 것이 중요합니다. 2. 도커 메모리 제한 옵션도커에서는 컨테이너의 메모리 사용을 제한하기 위한 다양한 옵션을 제공합니다. 주요 옵션은 다음과 같습니다:--memory 또는 -m: 컨테이너의 최대 메모리 사용량 설정--memory-swap: 컨테이너가 사용할 수 있는 스왑 메모리 양 설정--memory-reservation: 컨테이너가 사용할 수 있는 최소 메모리 양 설정여기서 swap 메모리는 컴퓨터 시스템에서 물리적 메모리(RAM)가..
[Docker] 도커 컨테이너 메모리 제한 오류
·
Settings/Docker
발생한 오류도커 컨테이너 안에서 딥러닝 모델을 학습을 돌려놓고 나중에 확인해 보니 아무런 오류 메시지 없이 실행이 중단되고 도커 컨테이너에서도 나와져 있었다.  GPU 메모리가 부족하면 애초에 학습이 실행되지 않거나 OOM 에러메시지라도 떴을 텐데에러 메시지가 없어서 오류의 원인도 찾지도 못하고 헤메던 중에 도커 데스크탑의 extensions에서 Resource Usage를 알게 되어 이 extensions을 통해 cpu 사용량, 메모리 사용량 추이를 확인하니 메모리 사용량이 증가하다가 한계에 다다르면 학습이 중단되는 것을 확인할 수 있었다.  GPU가 아닌 CPU 메모리가 부족해져서 중단되었던 것을 알게 되고 여러 해결 방법을 찾아보다가 도커 데스크탑 자체가 메모리를 많이 잡아먹는다는 내용이 많았고, ..
[오류 해결] curl: command not found - ubuntu
·
Error
발생한 오류우분투 환경에서 파일을 다운로드하려고 할 때 다음과 같은 오류가 발생하였다. curl : command not found error curl 명령어는 명령줄에서 데이터를 전송하기 위해 사용되는 도구로 curl은 다양한 프로토콜을 지원하며, 주로 HTTP, HTTPS, FTP 등을 통해 데이터를 다운로드하거나 업로드할 때 사용된다. 해결 방법curl을 설치하면 된다!apt-get -y updateapt-get -y install curl본인의 경우에는 도커 안에서 우분투를 실행하는 것이었는데, sudo 명령어를 사용할 필요가 없었다.  sudo 쓸 경우sudo apt-get -y updatesudo apt-get -y install curl  Referencehttps://stackoverflo..
[오류 해결] ERROR: no matching distribution found for torch==1.7.1+cu110
·
Error
발생한 오류도커에서 가상환경을 구축하려고 도커파일에 다음과 같은 명령어를 실행시키도록 했는데pip install torch==1.7.1+cu110 torchvision==0.8.2+cu110 torchaudio==0.7.2 -f https://download.pytorch.org/whl/torch_stable.html 다음과 같은 오류가 발생하였다. no matching distribution found for torch==1.7.1+cu110 no matching distribution 오류는 해당 버전의 PyTorch 패키지를 찾을 수 없을 때 발생한다.    해결 방법python 버전을 3.8로 변경해주면 위 버전을 그대로 설치해줄 수 있다. 본인의 경우는 도커로 환경을 구축하는 중이었고 도커 파일..
[오류 해결] module 'tensorflow._api.v2.io' has no attribute 'tf_record_iterator'
·
Error
발생한 오류TFRecord 파일을 읽어오는 코드를 실행 도중 다음과 같은 오류가 발생하였다. module 'tensorflow._api.v2.io' has no attribute 'tf_record_iterator' 기존 코드는 다음과 같다. for serialized_example in tf.python_io.tf_record_iterator(f): example = tf.train.Example() example.ParseFromString(serialized_example) 위 코드에서 tf_record_iterator를 지원하지 않아서 생기는 오류로 추측된다. 참고로 TFRecord는 TensorFlow에서 데이터 세트를 저장하고 읽기 위해 사용하는 바이너리..
[오류 해결] unrar : command not found error - ubuntu
·
Error
발생한 오류우분투 환경에서 압축 파일을 해제하려고 할 때 다음과 같은 오류가 발생하였다. unrar : command not found error 해결 방법unrar을 설치하면 된다!apt-get install unrar-free 본인의 경우에는 도커 안에서 우분투를 실행하는 것이었는데 sudo 명령어를 사용할 필요가 없었다.  Referencehttps://askubuntu.com/questions/244198/how-to-install-rar-no-installation-candidate
[오류 해결] unzip : command not found - ubuntu
·
Error
발생한 오류우분투 환경에서 압축 파일을 해제하려고 할 때 다음과 같은 오류가 발생하였다. unzip : command not found error 해결 방법unzip을 설치하면 된다. apt-get install unzipyum install unzip 본인의 경우에는 도커 안에서 우분투를 실행하는 것이었는데 sudo 명령어를 사용할 필요가 없었다.  Referencehttps://whddnr746.tistory.com/12
728x90
LIST
놀땐 놀고 할 땐 하는 어른이 •͈ᴗ•͈
'2024/06/03 글 목록