创建Flink作业需要输入数据源和数据输出通道,即常说的Source和Sink。用户使用其他服务作为数据源或输出通道时,需要先开通相应服务。
Flink作业支持以下数据源和输出通道:
- OBS数据源
如果用户作业需要对象存储服务(OBS)作为数据源,则要先开通OBS服务,具体操作请参见对象存储用户指南中的有关开通OBS服务的章节。
开通OBS服务后,用户需要将本地文件通过Internet上传至OBS指定的位置,具体操作请参见对象存储用户指南中的“上传文件”章节。
- RDS输出通道
如果用户作业需要RDS作为输出通道,需要创建RDS实例,具体操作请参见对应版本关系数据库产品《用户指南》中“创建实例”章节。
- SMN输出通道
如果用户作业需要SMN作为输出通道,需要先在SMN中创建主题,获取URN资源标识,再添加订阅。
- Kafka数据源和输出通道
如果用户作业需要Kafka作为数据源和输出通道,则必须要通过创建增强型跨源连接与Kafka进行对接,具体操作请参见增强型跨源连接。
如果Kafka服务端的端口监听在hostname上,则需要将Kafka Broker节点的hostname和ip的对应关系添加到跨源连接中。
- CloudTable数据源和输出通道
如果用户作业需要CloudTable作为数据源和输出通道,需要先在CloudTable中创建集群,获取集群ID。
- 云搜索服务输出通道
如果用户作业需要云搜索服务作为输出通道,需要先在云搜索服务中创建集群,获取集群内网访问地址。具体操作请参见云搜索服务用户指南中的“快速入门”章节。
- DCS输出通道
如果用户作业需要DCS作为输出通道,需要先在DCS中创建Redis类型的缓存实例,获取Redis实例连接地址。