天翼云大数据平台 翼MapReduce支持海量数据存储、海量数据分析、实时处理等行业应用,平台具备高安全性。该产品主要从以下几个方面保障用户可以安全地存储、使用数据以及运行业务。
网络隔离
整个系统部署在用户在公有云上专享的虚拟私有云中,提供安全隔离的网络环境,保证用户大数据集群的业务、管理的安全性。通过结合虚拟私有云的子网划分、路由控制、安全组等功能,可以为用户提供高安全、高可靠的网络隔离环境。
资源隔离
翼MR服务目前支持用户在天翼云4.0资源池内专属化部署,服务使用到的云主机在IaaS层保证资源隔离,资源组合上确保专属计算资源+专属存储资源。
主机安全
翼MR支持与天翼云官网安全服务集成,支持漏洞扫描、安全防护、应用防火墙、云堡垒机、网页防篡改等。针对云主机,提供如下安全措施:
- 操作系统内核安全加固
- 更新操作系统最新补丁
- 操作系统权限控制
- 操作系统端口管理
- 操作系统协议与端口防攻击
- 云主机监控
- 防DDoS攻击
- 定期备份数据
- 增加登录密码强度
应用安全
通过如下措施保证大数据业务正常运行:
- 身份鉴别与认证
- Web应用安全
- 访问控制
- 审计安全
- 密码安全
数据安全
针对海量用户数据,提供如下措施保障客户数据的机密性、完整性和可用性。
- 容灾:翼MR产品当前数据存放在天翼云云硬盘产品中,云硬盘采用三副本冗余机制,保障上层翼MR服务数据的高容灾型。
- 备份:翼MR产品当前数据存放在天翼云云硬盘产品中,云硬盘具备定期备份、数据恢复等特性。
数据完整性
通过数据校验,保证数据在存储、传输过程中的数据完整性。
- 用户数据保存在HDFS上,HDFS默认采用CRC32C校验数据的正确性。
- HDFS的DataNode节点负责存储校验数据,如果发现客户端传递过来的数据有异常(不完整)就上报异常给客户端,让客户端重新写入数据。
- 客户端从DataNode读数据的时候会同步检查数据是否完整,如果发现数据不完整,尝试从其它的DataNode节点上读取数据。
数据保密性
天翼云大数据平台 翼MapReduce产品中的分布式文件系统采用Apache Hadoop 3.3.3版本,提供对文件内容的加密存储功能,避免敏感数据明文存储,提升数据安全性。业务应用只需对指定的敏感数据进行加密,加解密过程业务完全不感知。在文件系统数据加密基础上,Hive实现表级加密,HBase实现列族级加密,在创建表时指定采用的加密算法,即可实现对敏感数据的加密存储。
- 从数据的存储加密、访问控制来保障用户数据的保密性。
- HBase支持将业务数据存储到HDFS前进行压缩处理,且用户可以配置AES和SMS4算法加密存储。
- 各组件支持本地数据目录访问权限设置,无权限用户禁止访问数据。
- 所有集群内部用户信息提供密文存储。
安全认证
基于用户和角色的认证统一体系,遵从帐户/角色RBAC(Role-Based Access Control)模型,实现通过角色进行权限管理,对用户进行批量授权管理。
- 支持安全协议Kerberos,翼MR Manager使用OpenLDAP作为帐户管理系统,并通过Kerberos对帐户信息进行安全认证。
- 对登录Manager的用户进行审计。