nvidia cuda 좀비 프로세스 제거

nvidia SSH연결 우분투 모니터링

ssh로 연결한 gpu 의 경우 모니터링을 하는게 중요하다.

따라서 우분투에서 해당메모리를 지속적으로 모니터링 하는 터미널을 열어두는게 좋다.

• watch -d -n 0.5 nvidia-smi
• → nvidia-smi를 0.5초마다 확인할게라는 의미이다.

메모리 리셋

현재 사용중인 프로세스가 없다고 뜨지만 메모리 할당은 되어있는 상태이다.

→child process가 좀비상태로 남아 있다.

ps aux | grep python을 실행

현재 실행중인 프로세스가 나온다.

주피터노트북과 파이썬 등이 나오는데 이를 선택제거한다.

• kill -9 52131 : 52131은 해당 프로세스의 이름이라고 생각하면 된다. 즉 PID이다.

• 실행결과를 확인하면 깔끔해졌다.

$ ps -ef | grep defunct | grep -v grep

$ ps aux | egrep "Z|defunct"