前提条件
- 已创建项目,项目已配置引擎实例。
- 您需要拥有项目的开发权限才可以新建和开发工作流。
生成DAG工作流
新建工作流项目后,点击进入工作流开发页面,您可以通过拖拽组件以搭建工作流。
操作步骤
1、新建工作流。
点击【新建工作流】按钮,配置工作流的基本信息。
2、添加数据开发节点。
在组件栏中选择所需的组件类型,点击鼠标并拖拽到画布中,即可在工作流中添加一个任务节点。
3、连接工作流。
将鼠标悬停在工作流的节点上,可以显示节点连接处,拖动鼠标可以连接两个节点形成DAG工作流,连接后前后节点形成节点依赖关系。
4、配置节点属性。
鼠标单击工作流节点,可以配置节点的基础信息,例如节点名称、别名、属性、资源等信息。
编辑工作流节点
DataWings平台内置脚本编辑器,用户可按自身需求编辑工作流节点的脚本代码。
操作步骤
1、打开工作流节点页面。
鼠标双击工作流画布中的节点,即可进入节点编辑页面(部分节点进入节点编辑弹窗,例如数据质量节点、数据标签节点、数据集成节点等等),本文以SparkSql节点举例。
2、工作流节点操作。
操作 | 说明 |
---|---|
保存 | 可保存当前节点脚本。 |
运行 | 可运行当前脚本以便调试测试,选中部分代码点击运行也可调试部分代码。 |
配置 | 可添加脚本所需的自定义参数。 |
版本 | 可查看当前节点历史版本信息,进行版本对比。 |
UDF | 节点类型为HiveSql或SparkSql时可配置节点需要的UDF函数。 |
冒烟测试 | 开发完成后可针对当前版本进行冒烟测试,确保节点运行正常。 |
测试记录 | 可查看冒烟测试记录。 |
执行工作流
完成工作流编排和节点开发后,您可以手动执行当前工作流,点击工作流执行将会自动保存一次。
操作步骤
1、点击执行。
2、在画布中查看工作流各节点的运行状态。
保存和发布工作流
您可以保存编辑完成的工作流,还可以将工作流发布到任务调度,可以对已发布的工作流进行调度。
注意仅发布成功的工作流可以前往调度中心配置周期调度。
查看工作流版本
工具栏点击【版本】,即可查看工作流已发布版本信息,在版本列表中,点击【打开】,可查看历史已发布版本信息。