开发环境
“业务管理 > 开发环境”,在业务范围是训推、训练下可用
开发环境列表
单击左侧导航栏中的开发环境,打开开发环境列表页面,页面顶部展示开发环境汇总信息,列表中展示开发环境的基本信息,列表右侧展示相关操作按钮。 可以选中多个开发环境单击右上角删除按钮进行批量删除,或者单击任一开发环境右侧操作区域的下拉栏中的删除选项,如下:

单击顶部密码设置按钮设置开发环境shell密码,支持随机密码(默认)、固定密码。
创建开发环境
用户单击页面中的创建按钮创建开发环境,支持从头创建开发环境(目前支持Caffe、TensorFlow、Mxnet、Pytorch、PaddlePaddle和other框架),也支持基于历史的开发环境创建,并可以将历史开发环境进行归档与取消归档,归档之后展示优先级提前, 用户可以选择资源组、资源配置、数据、模型、环境变量等信息,同时也可以指定节点,如下图:

开发环境详情
用户在开发环境列表中,单击运行中的开发环境的名称,可以进入该开发环境的详情中,在详情页中,可以使用Jupyter对脚本进行编辑调试, 可以使用web shell终端连接环境(支持多窗口),可以在容器实例中查看容器实例列表、性能监控,可以查看基本信息, 同时也支持可视化(目前支持TensorBoard、Visdom、Netscope)、将当前开发环境保存为镜像,一键提交训练任务,查看训练任务等功能,如下图: Jupyter:

Shell终端:

容器实例:

容器实例列表包括:名称、状态、加速卡、节点、IP、端口、操作列。
| 功能 | 描述 |
|---|---|
| 容器列表-复制当前页容器信息 | 通过该功能可以复制当前容器列表中(如果分页,需要切换分页才能复制其他页的数据)所有容器的Pod Name、节点IP、容器IP信息 |
| 操作列-SSH | 通过该功能可以复制连接相关容器的ssh命令、密码,注意,该功能需要相关镜像安装ssh组件 |
| 操作列-重启 | 通过该功能可以重启当前容器,如果出现个别容器启动失败,后续修复问题,可以通过该功能重启容器,不需要重启整个开发环境 |
性能曲线可以通过单击容器实例列表选择展示对应容器实例的数据,可以通过单击“15分钟”、“4小时”、“24小时”、自定义时间限制查询时间范围,如果容器所在节点使用了IB或RoCE网络可以通过“Infiniband”弹框筛选性能曲线中展示的对应网卡。 性能曲线指标包括:
| 场景 | 性能曲线指标 |
|---|---|
| 基本场景 | CPU利用率、内存利用率、网络输入/输出、内存总量/已用、磁盘输入/输出 |
| 使用GPU场景 | 基本场景下新增:加速卡利用率、加速卡显存利用率、加速卡显存已用、加速卡显存未用、draw_active、fp64_active、fp32_active、fp16_active、gr_engine_active、sm_active、sm_occupancy、tensor_active、pcie_rx_bytes、pcie_tx_bytes、nvlink_rx_bytes、nvlink_tx_bytes |
| 使用MIG场景 | 基本场景下新增:MIG显存利用率、MIG显存已用、MIG显存未用、draw_active、fp64_active、fp32_active、fp16_active、gr_engine_active、sm_active、sm_occupancy、tensor_active |
| 使用IB或RoCE网络场景 | 基本场景下新增:ib_xmitdata、ib_rcvdata、ib_xmitpktsize、ib_rcvpktsize |
仅支持NVIDIA DCGM Profiling Metrics的GPU型号才会展示如下性能指标:gr_engine_active、sm_active、sm_occupancy、tensor_active、dram_active、fp16_active、fp32_active、fp64_active、pcie_rx_bytes、pcie_tx_bytes、nvlink_rx_bytes、nvlink_tx_bytes
基本信息:

其他功能,包括可视化、保存镜像、一键提交、训练任务。
| 功能 | 描述 |
|---|---|
| 可视化 | 打开一个可视化环境,目前支持TensorBoard、Visdom、Netscope |
| 保存镜像 | 将当前开发环境中所有信息保存为一个新的镜像,类似docker commit 方式 |
| 一键提交 | 按照当前开发环境的配置,一键提交一个训练任务 |
| 训练任务 | 当前用户未完结训练任务的简易列表 |
开发环境操作功能
用户在列表中的操作栏中,可以对开发环境进行操作,目前支持以下操作:
| 功能 | 描述 |
|---|---|
| 克隆 | 克隆一个相同配置的开发环境 |
| 启动 | 将停止的开发环境启动 |
| 停止、恢复 | 用户可以将一个运行中的开发环境停止(停止后底层数据会删除),单击恢复后可以重新运行该开发环境 |
| 删除 | 可以删除开发环境 |
| 挂载数据集 | 可以挂载数据集 |
| 资源调整 | 可以对运行中的开发环境进行动态资源调整,修改资源配置 |
| 导出 | 可以导出当前开发环境的配置信息,按照一个副本一行的格式,每行的数据包括pod name、node ip、pod ip,保存到用户家目录中 |