pipelinewise 基于singer 指南的的数据pipeline 工具
pipelinewise 是基于开源singer 指南开发的数据pipeline工具,与singer tap 以及target 兼容
支持的特性
- 内置的elt 特性
- 轻量级
- 支持多种复制方法,cdc(基于log 的)基于key 的增量模式,全量
- 管理schema的变动
- 加载时的数据转换(可以方便进行数据脱敏,数据字段处理)
- 基于yaml的配置管理
- 可以集成外部工具
- 可扩展
说明
pipelinewise 基于singer 但是超越singer,简化了我们基于singer 开发的处理