最近在服务器上跑网络，发现对命令行还是很不熟悉，每次都记不住要靠google，有很多东西要学。还是趁这个机会边学边整理吧。
显示当前GPU使用情况
在命令行下，Nvidia自带了工具，会显示显存使用情况。命令如下：
$ nvidia-smi
输出如图：
nvdia-smi表含义
表中第一行是显卡版本信息，第二行是标题栏，对应含义如下；
GPU：显卡编号
Fan：风扇转速，范围在0~100%
Name：显卡名，这里是四张Geforce GTX 1080Ti
Temp：显卡温度，单位摄氏度
Perf：显卡性能，P0~P12，P0表示最大性能
Persistence-M：持续模式的状态，该模式耗能大，但是在新的GPU启动时，花费的时间更少；这里是off状态
Pwr：Usage/Cap：能耗，当前能耗/最大能耗,单位瓦
Bus-Id：GPU总线的相关信息，domain:bus:device.function
Disp.A：GPU的显示是否初始化，display activate
Memory-Usage：显存使用情况，当前占用显存/总显存
Uncorr. ECC：关于ECC的信息
Volatile GPU-Util：浮动的GPU利用率
Compute M.：计算模式，这里是默认模式
表格下半部分显示的是每个显卡上相应进程的显存占用情况。
$ nvidia-smi -h
通过该命令可获得mvidia-smi系统管理界面所有相关信息。
周期性更新GPU状态
1 | $ whatis watch |
$ watch [options] nvidia-smi
options为可选参数，通常用-n，后接数字表示多少秒执行一次命令。
$ watch -n 20 nvidia-smi
会进入监视界面，并且每20秒会刷新一次显卡状态，退出监视模式只要按Ctrl+z。