数据集管理

适用范围

“数据管理 > 数据集管理”，在业务范围是训练+推理、训练下可用

适用存储

数据集管理只适用于共享文件存储（NFS、GPFS 等）。对象存储（Ceph、HDFS 等）不支持使用数据集管理功能。

创建数据集

单击列表右上方“创建数据集”按钮，可以创建一个数据集，必填项为名称、导入数据路径、数据类型。数据集名称由系统自动生成为dataset-后加一个4位随机字符，也可以自定义修改。 导入数据路径选择文件管理中的样本数据，数据类型包含图片、文本、音频、视频、其他，描述信息可不填，如果填写需不超过256个字符。 创建数据集时，会自动创建一个V001的版本，该版本来源于选择的导入数据集路径，导入数据路径可以选择用户目录，全局共享，组共享，样本数据的目录。每个用户最多可以创建100个数据集。

字段名称	字段说明	字段填写注意事项
名称	数据集名称	必填项，自动生成数据集名称，允许修改，不允许重名
导入数据路径	数据集的文件夹目录，可选家目录、组共享、全局共享、样本数据	必填项
数据类型	数据类型支持图片、音频、文本、视频、其他	必填项
描述	数据集描述	不必填

导入数据路径选择的目录在“文件管理”展示其图标为共享标识图标，区别于普通文件夹图标。

数据集列表查看

只展示自己创建的数据集和共享给自己版本的数据集列表，数据集列表内容包含：名称、数据类型、导入数据路径、存储名称、状态、创建时间、描述、创建用户、操作（创建版本、删除）。支持按照数据集名称模糊查询。

注意

状态为失效的数据集由于导入数据路径不存在产生的状态。失效的数据集不能进行缓存使用，也不能进行创建版本和修改数据等操作。

创建版本

支持修改数据的处理方式，您可以单击创建版本，在该数据集下创建一个新的版本，数据集来源可以选择原始数据集或者已发布的数据集版本。创建完成后，可以对每个版本进行文件增删改操作，并发布使用。 发布后的数据集版本不能再进行文件增删改操作。如果想再次进行文件操作，必须创建一个新的数据集版本。 创建版本时，数据集名称自动带入，不可修改，来源可以选择导入的数据路径或者已发布的版本。版本由系统自动生成，按顺序填充，从V001累加到V999。版本名称可以自定义修改，不可重名。版本名称只能包含数字字母下划线连接线，不能以下划线和连接线开头，最多32个字符。 创建的版本会自动进入进度列表中，进度列表显示版本、数据集、节点名称、操作类型、存储名称、状态、操作等。

字段名称	字段说明	字段填写注意事项
名称	数据集名称	该值不允许界面修改，不必填
来源	原始导入数据路径或者数据集下已发布的版本	必填项
版本	数据集下版本名称	必填项，自动生成版本名称，允许修改，不允许重名
描述	版本描述	不必填

修改数据（增删改文件）

未发布的版本可以进行修改数据，操作类型包括：导入、删除、编辑文件。

1. 导入数据可以选择文件管理中的文件，不能导入创建数据集时选择的原始数据。如果导入重名文件，提示是否覆盖。单击版本名称进入文件列表页面，单击右上方的“导入”按钮，弹出文件管理页面，选择要导入的数据，单击确定。导入的数据会自动进入传输列表中，进度列表显示导入的文件（夹）名、节点名称、类型、操作类型、大小、存储名称、状态、操作。

2. 删除数据时，选中文件列表中要删除的文件，单击右上方的“删除”按钮即可，删除的数据会自动进入传输列表中。

3. 编辑文件时，单击文件名称打开可编辑的文件，输入修改内容，单击确定即可。

版本发布

未发布的版本，可以单击操作栏的发布按钮进行发布。也可以在该版本的文件列表页面单击“发布”按钮操作，可以将版本发布到个人、组和全局，发布到个人只有个人可以使用，发布到组可以组内用户可以使用，发布到全局可以全局人员使用。

单击“发布”按钮，并选择发布方式后，若页面上方提示“该操作需要等待管理员审批，审批结果可在审批管理中查看”，则需要管理员进行审批操作。若管理员审批通过，则该版本进行发布操作；若管理员审批拒绝，则该版本不进行后续发布操作。

版本视图

发布的数据集版本可以进行版本视图查看，追溯来源过程。

版本删除

普通用户可以对发布状态、未发布状态和失效状态的数据集版本进行删除，不能对共享给自己的其他人创建的数据集版本删除。 已发布的数据集版本删除为逻辑删除，底层和数据库保留信息，只是将该版本标记为删除状态，便于其他模块（如开发环境、训练任务等）使用该数据集版本时能够追溯到使用的文件。 单击操作栏的操作按钮执行删除操作。

数据集删除

单击数据集操作栏的删除按钮进行数据集删除，该操作会将数据集下的所有版本永久删除，无法恢复。

文件列表展示

单击版本名称，展示该版本下所有的文件列表。

文件查看

可以查看普通文件、图片(支持png、jpeg、jpg、bmp格式)、音频文件(支持mp3、wav、flac格式)、视频文件(支持mp4、avi、flv、mov)。支持查看50M以下的普通文件和图片，默认支持查看50M以下的音频，默认支持查看100M以下的视频。

发布数据集使用

发布数据集（状态为个人，组和全局）只支持节点缓存，不支持更新。以开发环境为例，进行说明。 选择数据时，选择数据集管理，弹出所有数据集列表，展开可以显示所有已发布的版本，只能选择其中的一个版本，单击确定。

传输列表操作

1. 进入传输列表的操作包括：创建版本、导入和删除。同一用户同一操作只有一个在处理，其余需要排队。
2. 传输列表可以进行查看、删除、关闭等操作。

数据处理

单击列表右上方“数据处理”按钮，可以创建一个数据处理任务。 需要填写以下信息：

名称	说明
任务名称	任务的名称，必填参数，只接受英文字母、数字和下划线，不能以下划线开头
镜像	运行任务的镜像，必填参数
运行	运行模式，脚本模式或命令模式二选一，必填参数，脚本模式下只能选择py脚本
资源组	运行任务所需的资源组，必填参数
集群网络类型	运行任务所需的集群网络类型，必填参数
数据	数据处理任务所选的数据，非必填，选择的数据只能以挂载的方式直接使用

提交完成后，跳转到任务管理，列表中有任务类型为数据处理任务的数据。