什么是跨源认证?
跨源分析场景中,如果在作业中直接配置认证信息会触发密码泄露的风险,因此推荐您使用“数据加密服务DEW”或“DLI提供的跨源认证方式”来存储数据源的认证信息。
- 数据加密服务(Data Encryption Workshop, DEW)是一个综合的云上数据加密服务,为您解决数据安全、密钥安全、密钥管理复杂等问题。推荐使用数据加密服务DEW来存储数据源的认证信息。
- 跨源认证用于管理访问指定数据源的认证信息。配置跨源认证后,无需在作业中重复配置数据源认证信息,提高数据源认证的安全性,便于DLI安全访问数据源。
本节操作为您介绍DLI提供的跨源认证的使用方法。
约束与限制
- 仅Spark SQL、和Flink OpenSource SQL 1.12版本的作业支持使用跨源认证。
- DLI支持四种类型的跨源认证,不同的数据源按需选择相应的认证类型。
−CSS类型跨源认证:适用于“6.5.4”及以上版本的CSS集群且集群已开启安全模式。
−Kerberos类型的跨源认证:适用于开启Kerberos认证的MRS安全集群。
−Kafka_SSL类型的跨源认证:适用于开启SSL的Kafka。
−Password类型的跨源认证:适用于DWS、RDS、DDS、DCS数据源。。
跨源认证类型
DLI支持四种类型的跨源认证,不同的数据源按需选择相应的认证类型。
- CSS类型跨源认证:适用于“6.5.4”及以上版本的CSS集群且集群已开启安全模式。配置时需指定集群的用户名、密码、认证证书,通过跨源认证将以上信息存储到DLI服务中,便于DLI安全访问CSS数据源。详细操作请参创建CSS类型跨源认证。
- Kerberos类型的跨源认证:适用于开启Kerberos认证的MRS安全集群。配置时需指定MRS集群认证凭证,包括“krb5.conf”和“user.keytab”文件。详细操作请参考创建Kerberos跨源认证。
- Kafka_SSL类型的跨源认证:适用于开启SSL的Kafka,配置时需指定KafkaTruststore路径和密码。详细操作请参考创建Kafka_SSL类型跨源认证。
- Password类型的跨源认证:适用于DWS、RDS、DDS、DCS数据源,配置时将数据源的密码信息存储到DLI。详细操作请参考创建Password类型跨源认证。
支持跨源认证的数据源与作业类型
不同类型的作业支持跨源认证的数据源与认证方式不同。
- Spark SQL支持跨源认证的数据源与约束限制请参考下表“Spark SQL支持跨源认证的数据源”。
- Flink SQL 支持跨源认证的数据源与约束限制请参考下表“Flink SQL支持跨源认证的数据源”。
Spark SQL支持跨源认证的数据源
跨源认证类型 | 数据源 | 约束与限制 |
---|---|---|
CSS | CSS | CSS集群版本选择“6.5.4”或“6.5.4”以上版本。 CSS集群已开启“安全模式”。 |
Password | DWS、RDS、DDS、Redis | - |
Flink SQL支持跨源认证的数据源
表类型 跨源认证类型 数据源 约束与限制 源表
Kerberos
Kafka MRS Kafka开启Kerberos认证。
Kafka_SSL
Kafka
DMS Kafka开启SASL_SSL认证。
MRS Kafka开启SASL认证。
MRS Kafka开启SSL认证。
结果表
Kerberos
HBase
MRS安全集群已开启Kerberos认证。
Kafka
MRS Kafka开启Kerberos认证。
Kafka_SSL
Kafka
DMS Kafka开启SASL_SSL认证。
MRS Kafka开启SASL认证。
MRS Kafka开启SSL认证。
Password
DWS、RDS、CSS
-
维表
Password
RDS、Redis
-