如何使用StreamSets从MySQL增量更新数据到Hive
标签（空格分隔）： 大数据平台构建
一： 编写目的 二： 平台所用版本介绍 三： 配置步骤 四： 测试应用
一： 编写目的
通过StreamSets实现数据采集，在实际生产中需要实时捕获MySQL、Oracle等其他数据源的变化数据（简称CDC）将变化数据实时的写入大数据平台的Hive、HDFS、HBase、Solr、Elasticserach等。该文将介绍使用StreamSets通过JDBC的方式实时抽取增量数据到Hive。
二： 平台所使用版本
cdh 版本：
CDH5.14.4
StreamSets 版本：
StreamSets 3.5.2
在 大数据平台 CDH5.14.4 上面如何集成安装不在介绍 参考flyfish的博客
<<在CDH5.14.4 中安装StreamSets与案例运行>>
三：配置步骤
3.1 创建 Pipelines
在CDH的 主节点上面 创建 目录
mkdir -p /tmp/mysql_to_hive
3.2 添加 jdbc 的查询者
3.3 查看检查
3.4 添加Hive Metadata
3.5 将Hive Metadata 输出到 HiveMetastore
3.6 整个流程类预览
四：测试应用
