streamsets 包管理
streamsets 自带一个包管理,可以方便的进行三方组件的添加,比如我们需要处理mongodb
数据,默认是没有添加这个组件的,操作如下:
选择包管理
选择组件
安装
- 点击安装
- 提示界面
- 安装完成,重启应用
使用
-
添加
-
配置
2023-05-24 08:18:52 阅读次数:86
streamsets 自带一个包管理,可以方便的进行三方组件的添加,比如我们需要处理mongodb
数据,默认是没有添加这个组件的,操作如下:
添加
配置
streamsets 支持branch(分支)&& merge(合并)模式的数据流
streamsets 有一个directory的origin 可以方便的进行文件的处理,支持的格式也比较多,使用简单
Processors 表示对于一种数据操作处理,在pipeline中可以应用多个Processors,同时根据不同的执行模式,可以分为独立模式的,集群模式、边缘模式(agent),以及帮助测试的测试Processors
streamsets 3.5 有了一些新的特性以及增强,总之是越来越方便了,详细的可以查看官方说明,以下简单例举一些比较有意义的。
文章
27958
阅读量
3545796