翼MR作为一个海量数据管理和分析的平台,具备高安全性。翼MR主要从以下几个方面保障用户的数据和业务运行安全。
网络隔离
整个系统部署在公有云上的虚拟私有云中,提供隔离的网络环境,保证集群的业务、管理的安全性。结合虚拟私有云的子网划分、路由控制、安全组等功能,为用户提供高安全、高可靠的网络隔离环境。
资源隔离
翼MR服务支持资源专属区内部署,专属区内物理资源隔离,用户可以在专属区内灵活地组合计算存储资源,包括专属计算资源+共享存储资源、共享计算资源+专属存储资源、专属计算资源+专属存储资源。
主机安全
翼MR支持与公有云安全服务集成,支持漏洞扫描、安全防护、应用防火墙、堡垒机、网页防篡改等。针对操作系统和端口部分,提供如下安全措施:
- 操作系统内核安全加固
- 更新操作系统最新补丁
- 操作系统权限控制
- 操作系统端口管理
- 操作系统协议与端口防攻击
应用安全
通过如下措施保证大数据业务正常运行:
-
身份鉴别和认证
-
Web应用安全
-
访问控制
-
审计安全
-
密码安全
数据安全
针对海量用户数据,提供如下措施保障客户数据的机密性、完整性和可用性。
- 容灾:翼MR支持将数据备份到OBS(对象存储服务)中,支持跨区域的高可靠性。
- 备份:翼MR支持针对DBService、NameNode、LDAP的元数据备份和对HDFS、HBase的业务数据备份。
数据完整性
通过数据校验,保证数据在存储、传输过程中的数据完整性。
- 用户数据保存在HDFS上,HDFS默认采用CRC32C校验数据的正确性。
- HDFS的DataNode节点负责存储校验数据,如果发现客户端传递过来的数据有异常(不完整)就上报异常给客户端,让客户端重新写入数据。
- 客户端从DataNode读数据的时候会同步检查数据是否完整,如果发现数据不完整,尝试从其它的DataNode节点上读取数据。
数据保密性
翼MR分布式文件系统在Apache Hadoop版本基础上,提供对文件内容的加密存储功能,避免敏感数据明文存储,提升数据安全性。业务应用只需对指定的敏感数据进行加密,加解密过程业务完全不感知。在文件系统数据加密基础上,Hive实现表级加密,HBase实现列族级加密,在创建表时指定采用的加密算法,即可实现对敏感数据的加密存储。
- 从数据的存储加密、访问控制来保障用户数据的保密性。
- HBase支持将业务数据存储到HDFS前进行压缩处理,且用户可以配置AES和SMS4算法加密存储。
- 各组件支持本地数据目录访问权限设置,无权限用户禁止访问数据。
- 所有集群内部用户信息提供密文存储。
安全认证
- 基于用户和角色的认证统一体系,遵从帐户/角色RBAC(Role-Based Access Control)模型,实现通过角色进行权限管理,对用户进行批量授权管理。
- 支持安全协议Kerberos,MRS使用LDAP作为帐户管理系统,并通过Kerberos对帐户信息进行安全认证。
- 提供单点登录,统一了MRS系统用户和组件用户的管理及认证。
- 对登录Manager的用户进行审计。