跳到主要内容

训练任务运行参考指南

注意：目前训练脚本都是以tmpUser用户登录为前提运行的，如果是其他用户，需要修改脚本中相关路径，比如 /tmpUser/xxx 需要修改为对应的用户/$user/xxx

使用示例前

示例中的用户名、目录、镜像、数据集和资源配置仅供参考。执行前请替换为当前账号的实际信息。

单机任务创建​

Tensorflow单机任务​

  1. 单击“创建”按钮，开始创建Tensorflow单机任务。
  2. 填写任务信息 镜像：选择Tensorflow镜像 数据集：/MNIST_data 启动文件： Tensorflow单机训练脚本，/tmpUser/models/tensorflow/mnist/tf_mnist_single.py

Tensorflow单机任务界面

或者使用命令模式：

python /tmpUser/models/tensorflow/mnist/tf_mnist_single.py

其他参数按需选择。

Tensorflow单机任务界面

Caffe单机任务​

  1. 单击“创建”按钮，开始创建Caffe单机任务。
  2. 填写任务信息 镜像：选择Caffe镜像 数据集：/MNIST_caffe 启动文件：Caffe单机训练脚本：/tmpUser/models/caffe/mnist/solver_lenet.prototxt 或者使用命令模式：
caffe train --solver=/tmpUser/models/caffe/mnist/solver_lenet.prototxt --gpu=all

其他参数按需设置。

Mxnet单机任务​

  1. 单击“创建”按钮，开始创建Mxnet单机任务。
  2. 填写任务信息 镜像：选择Mxnet镜像 数据集：/MNIST_data 启动文件：Mxnet单机训练脚本，/tmpUser/models/mxnet/mx_mnist_single.py 或者使用命令模式：
python /tmpUser/models/mxnet/mx_mnist_single.py

其他参数按需选择。

Pytorch单机任务​

  1. 单击“创建”按钮，开始创建Pytorch单机任务。
  2. 填写任务信息 镜像：选择Pytorch镜像 数据集：/MNIST_pytorch 启动文件：Pytorch单机训练脚本，/tmpUser/models/pytorch/mnist/pytorch_mnist_single.py 或者使用命令模式：
python /tmpUser/models/pytorch/mnist/pytorch_mnist_single.py

其他参数按需选择。

PaddlePaddle单机任务​

  1. 单击“创建”按钮，开始创建PaddlePaddle单机任务。
  2. 填写任务信息 镜像：选择PaddlePaddle镜像 数据集：/MNIST_data 启动文件：Paddlepaddle单机训练脚本，/tmpUser/models/paddle/paddle_mnist_single.py 或者使用命令模式：

其他参数按需选择。

分布式任务创建​

Tensorflow分布式任务​

  1. 单击“创建”按钮，开始创建Tensorflow分布式任务。
  2. 填写任务信息 镜像：选择Tensorflow镜像 数据集：/MNIST_data 启动文件：Tensorflow分布式训练脚本，/tmpUser/models/tensorflow/mnist/tf_mnist_dist.py 或者Benchmark分布式测试脚本：/tmpUser/models/tensorflow/benchmarks-cnn_tf_v1.15_compatible/scripts/tf_cnn_benchmarks/benchmark_cnn_distributed_test_runner.py 部署类型：PS/Worker；PS个数：1；Worker个数：2 其他参数按需设置。

Mxnet分布式任务​

  1. 单击“创建”按钮，开始创建Mxnet分布式任务。
  2. 填写任务信息 镜像：选择Mxnet镜像 数据集：/MNIST_data 启动文件：Mxnet分布式训练脚本，/tmpUser/models/mxnet/mx_mnist_dist/mx_mnist_dist.py（注意：若使用GPU，脚本中84行，gpus需修改为gpus:‘0’） 部署类型：Server/Worker；Server个数：1；Worker个数：2 其他参数按需设置。

Pytorch分布式任务​

  1. 单击“创建”按钮，开始创建Pytorch分布式任务。
  2. 填写任务信息 镜像：选择Pytorch镜像 数据集：/MNIST_pytorch 启动文件：Pytorch分布式训练脚本，/tmpUser/models/pytorch/mnist/pytorch_mnist_dist.py 部署类型：Master/Worker；Master个数：1，Worker个数：2 其他参数按需设置。

PaddlePaddle分布式任务​

  1. 单击“创建”按钮，开始创建PaddlePaddle分布式任务。
  2. 填写任务信息 镜像：选择PaddlePaddle镜像 数据集：无，不需要额外选择数据集 启动命令：tmpUser需要替换为对应用户
cd /tmpUser/models/paddle/PaddleOCR-2.0.0/ &&  export NCCL_DEBUG=INFO  && python3 -u -m paddle.distributed.launch /tmpUser/models/paddle/PaddleOCR-2.0.0/tools/train.py -c /tmpUser/models/paddle/PaddleOCR-2.0.0/configs/det/det_r50_vd_db.yml -o Global.pretrain_weights=/tmpUser/models/paddle/PaddleOCR-2.0.0/pretrain_models/ResNet50_vd_ssld_pretrained

部署类型：collective，Worker个数：2 其他参数按需设置。

MPI任务创建​

Caffe MPI任务​

  1. 单击“创建”按钮，开始创建Caffe MPI任务。
  2. 填写任务信息 镜像：选择Caffe镜像 数据集：/MNIST_caffe 部署类型：MPI；Worker个数：2 启动文件：Caffe MPI训练脚本，/tmpUser/models/caffe/mnist/solver_lenet.prototxt 或者使用命令模式：
mpirun -allow-run-as-root -np 2 caffe train --solver=/tmpUser/models/caffe/mnist/solver_lenet.prototxt --gpu all

其他参数按需选择。

Tensorflow MPI任务​

  1. 单击“创建”按钮，开始创建Tensorflow MPI任务。
  2. 填写任务信息 镜像：选择Tensorflow镜像 数据集：/MNIST_data 部署类型：MPI；Worker个数：2 此镜像只能使用命令模式：
mpirun --oversubscribe --allow-run-as-root -np 2 -mca pml ob1 python /tmpUser/models/horovod/tensorflow_mnist.py --data_dir=/MNIST_data

其他参数按需设置。

Mxnet MPI任务​

  1. 单击“创建”按钮，开始创建Mxnet MPI任务。
  2. 填写任务信息 镜像：选择Mxnet镜像 数据集：/MNIST_data 此镜像只能使用命令模式：
mpirun --oversubscribe --allow-run-as-root -np 2 -mca pml ob1 python /tmpUser/models/horovod/mxnet_mnist.py --data_dir=/MNIST_data

部署类型：MPI；Worker个数：2 其他参数按需设置。

Pytorch MPI任务​

  1. 单击“创建”按钮，开始创建Pytorch MPI任务。
  2. 填写任务信息 镜像：选择Pytorch镜像 数据集：/MNIST_pytorch 部署类型：MPI；Worker个数：2 启动文件：Pytorch MPI训练脚本，/tmpUser/models/horovod/pytorch_mnist.py 或者使用命令模式：
mpirun -np 2 -allow-run-as-root python /tmpUser/models/horovod/pytorch_mnist.py

任务的可视化​

训练任务的可视化：可以在任务训练过程中查看或者任务训练完成后进行查看，下面通过选择完成的任务介绍可视化。(因可视化相关服务启动需要时间，若页面无法打开，请尝试刷新页面)

Caffe可视化​

网络结构可视化

  1. 可视化任务—创建 单击“可视化”按钮，打开Netscope标签页，开始创建Caffe可视化任务。
  2. Netscope 进入文件管理系统，打开Caffe的网络结构文件（train_lenet.prototxt），复制全文；在左侧输入框内粘贴全文，键入shift+enter，得到网络结构。

Caffe可视化界面

训练过程可视化 训练过程可视化只支持单机任务：

  1. 可视化任务—创建 单击“训练过程可视化”按钮，开始创建Caffe训练过程可视化。
  2. 可视化 弹出训练过程可视化窗口，查看训练时间，损失率，学习率。

TensorFlow可视化​

  1. 可视化任务—创建 单击“可视化”按钮，开始创建TensorFlow可视化任务。
  2. 选择启动文件夹 单击需要打开的可视化文件夹。
  3. TensorBoard 打开TensorBoard标签页，展示TensorFlow可视化信息。

TensorFlow可视化界面

Mxnet可视化​

  1. 可视化任务—创建 单击“可视化”按钮，开始创建Mxnet可视化任务。
  2. 选择启动文件夹 单击需要打开的可视化文件夹。
  3. TensorBoard 打开TensorBoard标签页，展示Mxnet可视化信息。

Mxnet可视化界面

Pytorch可视化​

  1. 可视化任务—创建 单击“可视化”按钮，开始创建Pytorch可视化任务。
  2. 选择启动文件夹 单击需要打开的可视化文件夹。
  3. TensorBoard 打开TensorBoard标签页，展示Pytorch可视化信息。

Pytorch可视化界面

PaddlePaddle可视化​

  1. 可视化任务—创建 单击“可视化”按钮，开始创建PaddlePaddle可视化任务（其模型为自带的例子）。
  2. 选择启动文件夹 单击需要打开的可视化文件夹。
  3. Visual DL 打开VisualDL标签页，展示PaddlePaddle可视化信息。

PaddlePaddle可视化界面

紧急任务​

提交紧急任务​

普通用户提交紧急任务，需要系统管理员开启此用户提交紧急任务的权限。

  1. 单击“创建”按钮，创建任务。
  2. 打开“紧急任务”开关。
  3. 单击“确定”按钮，提交一个紧急任务。

紧急任务重新排序​

  1. 系统管理员进入“任务管理”业务模块，单击“重新排队”调整紧急任务顺序。
  2. 选中想要调整的紧急任务，可以执行“置顶”、“置底”、“上移”和“下移”操作