1、字段的拼接
字段的拼接使用 JS 脚本实现,JS脚本在 Kettle 中使用起来很是方便,目前我使用 JS 实现过 IP 校验、字段拼接、文件移动。
var a = Id + "-" + Type
var Type = a
2、字段串替换
此处我是简单的使用,数据清洗不是很复杂没有使用到正则表达式。
3、IP校验
1、IP校验的JS代码
var reg = /^((\d)|([1-9]\d)|(1\d{2})|((2[0-4]\d)|(25[0-5])))(\.((\d)|([1-9]\d)|(1\d{2})|((2[0-4]\d)|(25[0-5])))){3}$/;
if (reg.test(IP) == true){
var flag = 1
}else {
var flag = 2
}
2、JavaScript 函数 组件
HDFS 文件获取后,选择 JS脚本组件,在 Input fields 中可以看到接收到的字段。
3、过滤记录
使用 过滤记录 组件过滤掉不合法的IP
过滤记录的使用说明,过滤记录 组件的使用在 业务分离是很好用的,尤其是对正则匹配、字段的过滤。