作业中源连接为配置Kafka连接或配置DMS Kafka连接时,源端作业参数如下表所示。
表 Kafka作为源端时的作业参数
参数 | 说明 | 取值样例 |
---|---|---|
Topics | 支持单个或多个topic。 | est1,est2 |
偏移量参数 | 从Kafka拉取数据时的初始偏移量: 最新:最大偏移量,即拉取最新的数据。 最早:最小偏移量,即拉取最早的数据。 已提交:拉取已提交的数据。 时间范围:拉取时间范围内的数据。 |
最新 |
是否持久运行 | 用户自定义是否永久运行。 | 是 |
消费组ID | 用户指定消费组ID。 如果是从DMS Kafka导出数据,专享版请任意输入,标准版请输入有效的消费组ID。 | sumer-group |
数据格式 | 解析数据时使用的格式: 二进制格式:适用于文件迁移场景,不解析数据内容原样传输。 CSV格式:以CSV格式解析源数据。 l JSON:以JSON格式解析源数据。 CDC(DRS_JSON):以DRS_JSON格式解析源数据。 |
二进制格式 |
字段分隔符 | 默认为空格,使用Tab键作为分隔符请输入“\t”。 | , |
最大消息数/poll | 可选参数,每次向Kafka请求数据限制最大请求记录数。 | 100 |
最大时间间隔/poll | 可选参数,向Kafka请求数据的最大时间间隔。 | 100 |