streamsets 丢踢无关数据
对于不需要的数据,streamsets 可以方便的设置丢踢,我们可以通过定义require 字段或者前置条件进行配置
require(必须字段)
必须字段是必须存在一条record 中的,对于不存在的,系统根据配置的error 处理规则进行处理,require 字段可以在processor executor destinnation 阶段进行定义
前置条件
前置条件是用来限制record 必须满足处理的条件,前置条件可以定义在processor executor destination 阶段,同时可以好似哦要哪个functions pipeline 常量以及运行时属性
参考:
${record:value('/COUNTRY')=='UD'}