前提条件
- 已创建项目,项目已配置引擎实例。
- 您需要拥有项目的开发权限才可以新建和开发工作流。
生成DAG工作流
新建工作流项目后,点击进入工作流开发页面,您可以通过拖拽组件以搭建工作流。
操作步骤
1、新建工作流。
点击“新建工作流”按钮,配置工作流的基本信息。
2、添加数据开发节点。
在组件栏中选择所需的组件类型,点击鼠标并拖拽到画布中,即可在工作流中添加一个任务节点。
3、连接工作流。
将鼠标悬停在工作流的节点上,可以显示节点连接处,拖动鼠标可以连接两个节点形成DAG工作流,连接后前后节点形成节点依赖关系。
4、配置节点属性。
鼠标单击工作流节点,可以配置节点的基础信息,例如节点名称、别名、属性、资源等信息。
编辑工作流节点
DataWings平台内置脚本编辑器,用户可按自身需求编辑工作流节点的脚本代码。
操作步骤
1、打开工作流节点页面。
鼠标双击工作流画布中的节点,即可进入节点编辑器页面(部分非代码类节点打开节点编辑弹窗),如下以SparkSQL节点举例。
2、工作流节点操作。
操作 | 说明 |
---|---|
保存 | 可保存当前节点脚本。 |
运行 | 可运行当前脚本以便调试测试,选中部分代码点击运行也可调试部分代码。 |
自定义参数 | 可添加脚本所需的自定义参数(仅数据开发类型的节点支持)。 |
版本 | 可查看当前节点历史版本信息,进行版本对比。 |
UDF | 节点类型为HiveSQL或SparkSQL或Kyuubi时可配置节点需要的UDF函数。 |
冒烟测试 | 开发完成后可针对当前版本进行冒烟测试,确保节点运行正常。 |
测试记录 | 可查看冒烟测试记录。 |
执行工作流
完成工作流编排和节点开发后,您可以手动执行当前工作流,点击工作流执行将会自动保存一次。
操作步骤
1、点击执行。
2、在画布中查看工作流各节点的运行状态。
保存和发布工作流
您可以保存编辑完成的工作流,还可以将工作流发布到任务调度,可以对已发布的工作流进行调度。
注意仅发布成功的工作流可以前往调度中心配置周期调度。
查看工作流版本
工具栏点击“版本”,即可查看工作流已发布版本信息,在版本列表中,点击“打开”,可查看历史已发布版本信息。
转交工作流
工作流的负责人默认是工作流的创建者,如果您是当前工作流的创建人/负责人,点击“转交工作流”按钮,您可以转交工作流给指定用户(仅支持转交给拥有项目管理权限或者开发权限的用户)。