[Linux] gpustat의 다양한 기능 (GPU 모니터링)

본 포스팅은 리눅스 기반의 서버에서 사용자들이 보기 편하도록 gpu를 모니터링해주는 gpustat에 대해 얘기하겠다.

 

gpustat 설치

리눅스에서 gpu를 모니터링 하는 방법으로 nvidia-smi가 있다. 하지만 이는 모두 흑백에 가시성이 떨어진다.

 

이를 대체할 수 있는 라이브러리가 있는데 바로 gpustat이다.

 

gpustat은 손쉽게 pip를 활용하여 설치가 가능하다.

 

pip install gpustat

 

gpustat 활용하기

gpustat에는 사용자 편의를 위해 몇 가지 parameter를 기입할 수 있도록 한다.

 

--color : 글자색으로 출력문 강조
--no-color : 흑백으로 출력 
-u, --show-user : 프로세스 소유자 표시 
-c, --show-cmd : 프로세스 표시 
-p, --show-pid : 프로세스 pid 표시 
-F, --show-fan : gpu 팬 속도 표시 
-P, --show-power : gpu 전력 사용량 표시
-i : 주기적으로 실행

 

위 명령어들을 보면 단순히 gpu 사용량 뿐 아니라 gpu의 팬속도, 전력 사용량, 어떤 계정이 해당 gpu를 활용하고 있는지, pid 추적 등의 기능들을 제공한다.

예시를 통해 하나씩 살펴보자.

 

 

gpustat를 설치하고 터미널 창에 그냥 gpustat이라고 기입하면 위와 같이 gpu를 모니터링할 수 있다.

 

각각의 의미는 색 별로 인덱스, gpu 이름, 온도, 사용률, 메모리 사용량, 프로세스 순이다.

 

gpustat -cpu

-c는 프로세스 표시, -p는 pid 표시, -u는 소유자 표시로 위 3가지 tag를 순서와 상관없이 기입하면 해당 내용들을 한번에 볼 수 있다. 

 

gpustat -F -P

-F는 팬속도, -P는 전력 사용량 표시로 위 예시와 같이 한번에 붙여서는 사용하지 못한다.

W(와트)로 표시되는것이 전력사용량.

 

 

 

보통은 터미널을 분할하여 한쪽은 실행 코드, 나머지에는 gpustat -i를 실시간으로 확인하며 gpu 사용량을 모니터링한다.