跳到主要内容

训练任务运行参考指南

注意：目前训练脚本都是以tmpUser用户登录为前提运行的，如果是其他用户，需要修改脚本中相关路径，比如 /tmpUser/xxx 需要修改为对应的用户/$user/xxx

单机任务创建​

Tensorflow单机任务​

1.单击“创建”按钮，开始创建Tensorflow单机任务。
2.填写任务信息 镜像：选择Tensorflow镜像
数据集：/MNIST_data
启动文件： Tensorflow单机训练脚本，/tmpUser/models/tensorflow/mnist/tf_mnist_single.py
image
或者使用命令模式：

python /tmpUser/models/tensorflow/mnist/tf_mnist_single.py

其他参数按需选择。
image

Caffe单机任务​

1.单击“创建”按钮，开始创建Caffe单机任务。
2.填写任务信息
镜像：选择Caffe镜像
数据集：/MNIST_caffe
启动文件：Caffe单机训练脚本：/tmpUser/models/caffe/mnist/solver_lenet.prototxt
或者使用命令模式：

caffe train --solver=/tmpUser/models/caffe/mnist/solver_lenet.prototxt --gpu=all

其他参数按需设置。

Mxnet单机任务​

1.单击“创建”按钮，开始创建Mxnet单机任务。
2.填写任务信息
镜像：选择Mxnet镜像
数据集：/MNIST_data
启动文件：Mxnet单机训练脚本，/tmpUser/models/mxnet/mx_mnist_single.py
或者使用命令模式：

python /tmpUser/models/mxnet/mx_mnist_single.py

其他参数按需选择。

Pytorch单机任务​

1.单击“创建”按钮，开始创建Pytorch单机任务。
2.填写任务信息
镜像：选择Pytorch镜像
数据集：/MNIST_pytorch
启动文件：Pytorch单机训练脚本，/tmpUser/models/pytorch/mnist/pytorch_mnist_single.py
或者使用命令模式：

python /tmpUser/models/pytorch/mnist/pytorch_mnist_single.py

其他参数按需选择。

PaddlePaddle单机任务​

1.单击“创建”按钮，开始创建PaddlePaddle单机任务。
2.填写任务信息
镜像：选择PaddlePaddle镜像
数据集：/MNIST_data
启动文件：Paddlepaddle单机训练脚本，/tmpUser/models/paddle/paddle_mnist_single.py
或者使用命令模式：

其他参数按需选择。

分布式任务创建​

Tensorflow分布式任务​

1.单击“创建”按钮，开始创建Tensorflow分布式任务。
2.填写任务信息
镜像：选择Tensorflow镜像
数据集：/MNIST_data
启动文件：Tensorflow分布式训练脚本，/tmpUser/models/tensorflow/mnist/tf_mnist_dist.py
或者Benchmark分布式测试脚本：/tmpUser/models/tensorflow/benchmarks-cnn_tf_v1.15_compatible/scripts/tf_cnn_benchmarks/benchmark_cnn_distributed_test_runner.py
部署类型：PS/Worker；PS个数：1；Worker个数：2
其他参数按需设置。

Mxnet分布式任务​

1.单击“创建”按钮，开始创建Mxnet分布式任务。
2.填写任务信息
镜像：选择Mxnet镜像
数据集：/MNIST_data
启动文件：Mxnet分布式训练脚本，/tmpUser/models/mxnet/mx_mnist_dist/mx_mnist_dist.py（注意：若使用GPU，脚本中84行，gpus需修改为gpus:‘0’）
部署类型：Server/Worker；Server个数：1；Worker个数：2
其他参数按需设置。

Pytorch分布式任务​

1.单击“创建”按钮，开始创建Pytorch分布式任务。
2.填写任务信息
镜像：选择Pytorch镜像
数据集：/MNIST_pytorch
启动文件：Pytorch分布式训练脚本，/tmpUser/models/pytorch/mnist/pytorch_mnist_dist.py
部署类型：Master/Worker；Master个数：1，Worker个数：2
其他参数按需设置。

PaddlePaddle分布式任务​

1.单击“创建”按钮，开始创建PaddlePaddle分布式任务。
2.填写任务信息
镜像：选择PaddlePaddle镜像
数据集：无，不需要额外选择数据集
启动命令：tmpUser需要替换为对应用户

cd /tmpUser/models/paddle/PaddleOCR-2.0.0/ &&  export NCCL_DEBUG=INFO  && python3 -u -m paddle.distributed.launch /tmpUser/models/paddle/PaddleOCR-2.0.0/tools/train.py -c /tmpUser/models/paddle/PaddleOCR-2.0.0/configs/det/det_r50_vd_db.yml -o Global.pretrain_weights=/tmpUser/models/paddle/PaddleOCR-2.0.0/pretrain_models/ResNet50_vd_ssld_pretrained

部署类型：collective，Worker个数：2
其他参数按需设置。

MPI任务创建​

Caffe MPI任务​

1.单击“创建”按钮，开始创建Caffe MPI任务。
2.填写任务信息
镜像：选择Caffe镜像
数据集：/MNIST_caffe
部署类型：MPI；Worker个数：2
启动文件：Caffe MPI训练脚本，/tmpUser/models/caffe/mnist/solver_lenet.prototxt
或者使用命令模式：

mpirun -allow-run-as-root -np 2 caffe train --solver=/tmpUser/models/caffe/mnist/solver_lenet.prototxt --gpu all

其他参数按需选择。

Tensorflow MPI任务​

1.单击“创建”按钮，开始创建Tensorflow MPI任务。
2.填写任务信息
镜像：选择Tensorflow镜像
数据集：/MNIST_data
部署类型：MPI；Worker个数：2
此镜像只能使用命令模式：

mpirun --oversubscribe --allow-run-as-root -np 2 -mca pml ob1 python /tmpUser/models/horovod/tensorflow_mnist.py --data_dir=/MNIST_data

其他参数按需设置。

Mxnet MPI任务​

1.单击“创建”按钮，开始创建Mxnet MPI任务。
2.填写任务信息
镜像：选择Mxnet镜像
数据集：/MNIST_data
此镜像只能使用命令模式：

mpirun --oversubscribe --allow-run-as-root -np 2 -mca pml ob1 python /tmpUser/models/horovod/mxnet_mnist.py --data_dir=/MNIST_data

部署类型：MPI；Worker个数：2
其他参数按需设置。

Pytorch MPI任务​

1.单击“创建”按钮，开始创建Pytorch MPI任务。
2.填写任务信息
镜像：选择Pytorch镜像
数据集：/MNIST_pytorch
部署类型：MPI；Worker个数：2
启动文件：Pytorch MPI训练脚本，/tmpUser/models/horovod/pytorch_mnist.py
或者使用命令模式：

mpirun -np 2 -allow-run-as-root python /tmpUser/models/horovod/pytorch_mnist.py

任务的可视化​

训练任务的可视化：可以在任务训练过程中查看或者任务训练完成后进行查看，下面通过选择完成的任务介绍可视化。(因可视化相关服务启动需要时间，若页面无法打开，请尝试刷新页面)

Caffe可视化​

网络结构可视化
1.可视化任务—创建
单击“可视化”按钮，打开Netscope标签页，开始创建Caffe可视化任务。
2.Netscope
进入文件管理系统，打开Caffe的网络结构文件（train_lenet.prototxt），复制全文；在左侧输入框内粘贴全文，键入shift+enter，得到网络结构。
image 训练过程可视化
训练过程可视化只支持单机任务：
1.可视化任务—创建
单击“训练过程可视化”按钮，开始创建Caffe训练过程可视化。
2.可视化
弹出训练过程可视化窗口，查看训练时间，损失率，学习率。

TensorFlow可视化​

1.可视化任务—创建
单击“可视化”按钮，开始创建TensorFlow可视化任务。
2.选择启动文件夹
单击需要打开的可视化文件夹。
3.TensorBoard
打开TensorBoard标签页，展示TensorFlow可视化信息。
image

Mxnet可视化​

1.可视化任务—创建
单击“可视化”按钮，开始创建Mxnet可视化任务。
2.选择启动文件夹
单击需要打开的可视化文件夹。
3.TensorBoard
打开TensorBoard标签页，展示Mxnet可视化信息。
image

Pytorch可视化​

1.可视化任务—创建
单击“可视化”按钮，开始创建Pytorch可视化任务。
2.选择启动文件夹
单击需要打开的可视化文件夹。
3.TensorBoard
打开TensorBoard标签页，展示Pytorch可视化信息。
image

PaddlePaddle可视化​

1.可视化任务—创建
单击“可视化”按钮，开始创建PaddlePaddle可视化任务（其模型为自带的例子）。
2.选择启动文件夹
单击需要打开的可视化文件夹。
3.Visual DL
打开VisualDL标签页，展示PaddlePaddle可视化信息。
image

紧急任务​

提交紧急任务​

普通用户提交紧急任务，需要系统管理员开启此用户提交紧急任务的权限。
1.单击“创建”按钮，创建任务。
2.打开“紧急任务”开关。
3.单击“确定”按钮，提交一个紧急任务。

紧急任务重新排序​

1.系统管理员进入“任务管理”业务模块，单击“重新排队”调整紧急任务顺序。
2.选中想要调整的紧急任务，可以执行“置顶”、“置底”、“上移”和“下移”操作