基础概念
主题
是业务流程的组合方式,用于对同属性业务流程进行归类管理。对应数据仓库构建流程的主题数据域。
业务流程
对业务的抽象实体,让你能够以业务的视角来组织数据代码开发。
1.对象层级关系说明:
- 主题包含开发流程,主题间可以复用同一个开发流程;开发流程包含节点任务,开发流程与节点任务是一一对应关系。
- 主题是目录文件夹属性,开发流程和节点任务是实体对象。
- 主题和开发流程全环境不允许同名;节点任务可以同名,根据所属开发流程和唯一标识ID区分。
2.版本机制说明:
- 节点任务和开发流程发布后,均有版本号
- 版本号命名为“V X”,V是固定字符标识版本,X表示提交为发布的版本。例如:V3表示该开发流程提交了3次。
3.版本状态说明:
- 开发流程和节点任务分为 编辑、正式发布和历史三种状态。
当节点任务编辑时,本地浏览器自动保存,用户点击保存按钮时,保存到服务器。节点任务提交成功时,大版本号升级一位,记录到版本历史中。
当节点任务提交时,如果所属开发流程未提交过,则将节点和开发流程一起提交,成功提交后节点和开发流程的版本号均升级一位大版本。
当开发流程节点关系或者所包含的节点编辑保存时,开发流程自动保存服务器。开发流程提交时,选择要提交的节点(不允许仅提交虚拟节点或者无数据输出节点)。所有节点必须提交成功后,该开发流程才算提交成功。提交成功后开发流程和节点的版本号均升级一位。
4.运行状态说明:
- 节点运行时的状态分为 : 执行(running)、等待(waiting)、已忽略(ignored)、成功(succeed)、失败(failed)
- 开发流程状态分为:运行中、成功、失败。所有节点执行成功即为成功,单节点失败即为失败。
5.运行方式说明:
数据开发模块提供开发调试运行和生产运行两套独立的模式,运行方式如下:
操作步骤 | 触发方式 | 运维中心是否有实例生成 | 调度属性情况 | 适用场景 |
---|---|---|---|---|
测试运行 | 手动触发 | 否 | 不受调度周期和依赖关系影响 | 不受调度周期和依赖关系影响适用于代码调试阶段,无需保存提交。 |
带参数测试运行 | 手动触发 | 否 | 受依赖关系影响,不受调度周期影响 | 适用于检查参数替换情况和代码实际运行效果。 |
系统自动运行 | 系统触发 | 是 | 受调度周期和依赖关系影响 | 数据自动计算的主要方式,需要开发人员配置调度属性。 运行使用的是最新提交的生产版本 |
补数据运行 | 手动触发 | 是 | 不受调度周期影响,受依赖关系影响 | 是对系统自动运行方式的补充,部分任务由于新建或者出错, 需要触发今天之前一段时间的数据计算时使用该功能。 运行使用的是最新提交的生产版本。 |