跳到主要内容

开发环境

“业务管理 > 开发环境”,在业务范围是训推、训练下可用

开发环境列表

单击左侧导航栏中的开发环境,打开开发环境列表页面,页面顶部展示开发环境汇总信息,列表中展示开发环境的基本信息,列表右侧展示相关操作按钮。 可以选中多个开发环境单击右上角删除按钮进行批量删除,或者单击任一开发环境右侧操作区域的下拉栏中的删除选项,如下:

开发环境列表界面

单击顶部密码设置按钮设置开发环境shell密码,支持随机密码(默认)、固定密码。

创建开发环境

用户单击页面中的创建按钮创建开发环境,支持从头创建开发环境(目前支持Caffe、TensorFlow、Mxnet、Pytorch、PaddlePaddle和other框架),也支持基于历史的开发环境创建,并可以将历史开发环境进行归档与取消归档,归档之后展示优先级提前, 用户可以选择资源组、资源配置、数据、模型、环境变量等信息,同时也可以指定节点,如下图:

创建开发环境界面

开发环境详情

用户在开发环境列表中,单击运行中的开发环境的名称,可以进入该开发环境的详情中,在详情页中,可以使用Jupyter对脚本进行编辑调试, 可以使用web shell终端连接环境(支持多窗口),可以在容器实例中查看容器实例列表、性能监控,可以查看基本信息, 同时也支持可视化(目前支持TensorBoard、Visdom、Netscope)、将当前开发环境保存为镜像,一键提交训练任务,查看训练任务等功能,如下图: Jupyter:

开发环境详情界面

Shell终端:

开发环境详情界面

容器实例:

开发环境详情界面

容器实例列表包括:名称、状态、加速卡、节点、IP、端口、操作列。

功能描述
容器列表-复制当前页容器信息通过该功能可以复制当前容器列表中(如果分页,需要切换分页才能复制其他页的数据)所有容器的Pod Name、节点IP、容器IP信息
操作列-SSH通过该功能可以复制连接相关容器的ssh命令、密码,注意,该功能需要相关镜像安装ssh组件
操作列-重启通过该功能可以重启当前容器,如果出现个别容器启动失败,后续修复问题,可以通过该功能重启容器,不需要重启整个开发环境

性能曲线可以通过单击容器实例列表选择展示对应容器实例的数据,可以通过单击“15分钟”、“4小时”、“24小时”、自定义时间限制查询时间范围,如果容器所在节点使用了IB或RoCE网络可以通过“Infiniband”弹框筛选性能曲线中展示的对应网卡。 性能曲线指标包括:

场景性能曲线指标
基本场景CPU利用率、内存利用率、网络输入/输出、内存总量/已用、磁盘输入/输出
使用GPU场景基本场景下新增:加速卡利用率、加速卡显存利用率、加速卡显存已用、加速卡显存未用、draw_active、fp64_active、fp32_active、fp16_active、gr_engine_active、sm_active、sm_occupancy、tensor_active、pcie_rx_bytes、pcie_tx_bytes、nvlink_rx_bytes、nvlink_tx_bytes
使用MIG场景基本场景下新增:MIG显存利用率、MIG显存已用、MIG显存未用、draw_active、fp64_active、fp32_active、fp16_active、gr_engine_active、sm_active、sm_occupancy、tensor_active
使用IB或RoCE网络场景基本场景下新增:ib_xmitdata、ib_rcvdata、ib_xmitpktsize、ib_rcvpktsize
注意

仅支持NVIDIA DCGM Profiling Metrics的GPU型号才会展示如下性能指标:gr_engine_active、sm_active、sm_occupancy、tensor_active、dram_active、fp16_active、fp32_active、fp64_active、pcie_rx_bytes、pcie_tx_bytes、nvlink_rx_bytes、nvlink_tx_bytes

基本信息:

开发环境详情界面

其他功能,包括可视化、保存镜像、一键提交、训练任务。

功能描述
可视化打开一个可视化环境,目前支持TensorBoard、Visdom、Netscope
保存镜像将当前开发环境中所有信息保存为一个新的镜像,类似docker commit 方式
一键提交按照当前开发环境的配置,一键提交一个训练任务
训练任务当前用户未完结训练任务的简易列表

开发环境操作功能

用户在列表中的操作栏中,可以对开发环境进行操作,目前支持以下操作:

功能描述
克隆克隆一个相同配置的开发环境
启动将停止的开发环境启动
停止、恢复用户可以将一个运行中的开发环境停止(停止后底层数据会删除),单击恢复后可以重新运行该开发环境
删除可以删除开发环境
挂载数据集可以挂载数据集
资源调整可以对运行中的开发环境进行动态资源调整,修改资源配置
导出可以导出当前开发环境的配置信息,按照一个副本一行的格式,每行的数据包括pod name、node ip、pod ip,保存到用户家目录中