数据集成工具_数据集成工具文档介绍内容-天翼云

数据切分策略
本文为您介绍数据切分策略。切分策略切分维度的选择是决定分布式数据最重要的一个权衡性因素,需要审慎选择,一般而言,可以按照以下五个维度进行思考和权衡,包括数据均衡度考虑、事务边界因素、常用查询效率考虑、切片索引考虑、简单性策略。容量和访问均衡数据容量和访问均衡是我们考量的第一点,不均衡的数据分布和访问无法充分发挥数据拆分的能力,让访问体验变差,同时带来成本上的损耗。所以一般来说拆分字段区分度比较大,数据分布和访问相对会比较均衡,但是这点也需要考虑到某一个拆分值是否有热点的问题。

来自：
帮助文档
分布式关系型数据库
开发指南
SQL调优指南
数据切分策略
查看监控数据
您可以根据需要查看并行文件服务的监控数据,本文帮助您了解查看HPFS监控数据相关操作。操作场景并行文件服务开通后自动接入云监控服务,无需格外开通。通过云监控服务查看文件系统的监控数据,您可以了解到文件系统的使用情况。操作步骤方式一:通过并行文件服务控制台查看登录天翼云控制中心,单击管理控制台左上角的,选择地域。单击“存储>并行文件服务”,进入并行文件服务的控制台页面。在文件系统列表页,点击文件系统名称,可以跳转至文件系统详情页。在文件系统详情页,点击监控图表的页签页,即可进入监控数据页面。

来自：
帮助文档
并行文件服务 HPFS
用户指南
监控告警
查看监控数据
数据投递授权
在左侧导航栏选择“日志审计安全数据”,进入安全分析页面后,选择“数据投递管理”页签,进入数据投递管理页面。在数据投递管理页面,选择“投递权限授予”页签,进入投递权限授权页面后,单击目标投递任务所在行“操作”列的“接受”。如需批量接受授权,可以勾选所有需要授权的任务,然后单击列表左上角的“接受”。授权授予后,目标投递任务授权状态更新为“已授权”,更新后,可前往投递目的地查看投递情况,详细操作请参见查看数据投递情况。

来自：
帮助文档
态势感知（专业版）（新版）
用户指南
日志审计
数据投递
投递日志数据至其他数据管道
数据投递授权
数据卷概述
,是专门针对云计算、大数据和非结构化数据的海量存储形态,提供非结构化数据(图片、音视频、文本等格式文件)的无限存储服务支持支持 EmptyDir 临时目录(EmptyDir)是ECI为客户提供的一种空目录存储形态,用于临时存放数据,便于容器组内多个容器之间进行数据共享支持支持配置项配置项(configFile)是ECI为客户提供的一种存放配置文件的存储形态,用于向ECI实例注入配置数据,便于容器从自定义路径读取相关配置信息支持支持自定义临时存储 ECI实例默认为用户提供

来自：
帮助文档
弹性容器实例
用户指南
通过ECI控制台使用ECI
存储
数据卷概述
归档数据直读
本节主要介绍归档数据直读。您可以在创建桶时开启归档数据直读,也可以在已创建的桶中根据需要开启归档数据直读,详细操作步骤如下。操作步骤步骤 1 在OBS管理控制台桶列表中,单击待操作的桶,进入“对象”页面。步骤 2 在左侧导航栏,单击“概览”,进入“概览”页面。步骤 3 在“基础配置”区域下,单击“归档数据直读”卡片,系统弹出“归档数据直读”对话框。步骤 4 选择“开启”。步骤 5 单击“确定”。

来自：
帮助文档
对象存储
用户指南
归档数据直读
数据管理
本章节介绍ZooKeeper数据管理功能概述 ZooKeeper引擎的数据管理功能,提供了ZooKeeper节点树上数据节点的可视化管理能力,支持增删查改和ACL控制能力,同时对注册到ZooKeeper实例上的服务信息进行了提取和展示,使您更方便地查看注册服务相关的元数据信息。前提条件已开通微服务引擎MSE,参考章节:创建ZooKeeper引擎开通ZooKeeper实例并且状态正常。操作步骤 ZNode管理登录微服务引擎MSE注册配置中心管理控制台,选择资源池。

来自：
帮助文档
微服务引擎
用户指南
注册配置中心
ZooKeeper
数据管理
查看监控数据
通过以下任意一种方法,查看监控数据。在RabbitMQ实例名称后,单击“查看监控数据”。跳转到云监控页面,查看实例、节点和队列的监控数据,数据更新周期为1分钟。单击RabbitMQ实例名称,进入实例详情页。在左侧导航栏单击“监控”,进入监控页面,查看实例、节点和队列的监控数据,数据更新周期为1分钟。在“队列”的监控页面中,如果队列在默认Vhost下,会直接显示队列名。如果队列不在默认Vhost下,队列名称显示为:队列所在的Vhost名称_队列名。

来自：
帮助文档
分布式消息服务RabbitMQ
用户指南
监控
查看监控数据
初始化数据盘
2.执行以下命令,进入fdisk分区工具,开始对新增数据盘执行分区操作。 fdisk 新增数据盘以新挂载的数据盘“/dev/sdb”为例: fdisk /dev/sdb 回显类似如下信息: [root@ecs-b656 test]# fdisk /dev/sdb Welcome to fdisk (util-linux 2.23.2). Changes will remain in memory only, until you decide to write them.

来自：
帮助文档
物理机
快速入门
登录物理机服务
初始化数据盘
查看监控数据
步骤 4 通过以下任意一种方法,查看监控数据。在Kafka实例名称后,单击。跳转到云监控页面,查看实例、节点、队列和消费组的监控数据,数据更新周期为1分钟。单击Kafka实例名称,进入实例详情页。在左侧导航栏单击“监控”,进入监控页面,查看实例、节点、队列和消费组的监控数据,数据更新周期为1分钟。

来自：
帮助文档
分布式消息服务Kafka
用户指南
监控
查看监控数据
测试数据
本节主要介绍测试数据。

来自：
帮助文档
云数据库GeminiDB
GeminiDB Influx接口
性能白皮书
测试数据
数据质量
本章节主要介绍数据质量相关问题。质量作业和对账作业有什么区别? 质量作业可将创建的规则应用到建好的表中进行质量监控。对账作业支持跨源数据对账能力,可将创建的规则应用到两张表中进行质量监控,并输出对账结果。数据对账对于数据开发和数据迁移流程中的数据一致性至关重要,而跨源数据对账的能力是检验数据迁移或数据加工前后是否一致的关键指标。如何确认质量作业或对账作业已经阻塞?

来自：
帮助文档
数据治理中心 DataArts Studio
常见问题
操作类
数据质量
备份OMS数据
本章主要介绍翼MapReduce的备份OMS数据功能。操作场景为了确保FusionInsight Manager系统日常数据安全,或者系统管理员需要对Manager进行重大操作(如扩容、减容等)前后,需要对Manager数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复,将对业务的影响降到最低。管理员可以通过FusionInsight Manager创建备份Manager任务并备份数据。支持创建任务自动或手动备份数据。

来自：
帮助文档
翼MapReduce
用户指南
FusionInsight Manager操作指导（适用于3.x）
备份恢复管理
备份数据
备份OMS数据
数据回源
本文介绍如何通过回源规则从源站获取对应数据。镜像回源当您为桶创建了镜像回源规则后,如通过客户端访问桶中不存在的资源,并且该资源符合镜像回源规则,对象存储(简称ZOS)会到数据源站通过镜像回源的方式获取资源,将资源上传到ZOS并返回给客户端。期间业务不会中断,适用于数据从客户源站到ZOS的无缝迁移,用户可以低成本地将业务迁移到ZOS。

来自：
帮助文档
对象存储
用户指南
数据访问
数据回源
Redis 6.0 Proxy集群实例测试数据
压测机器的规格c7.4xlarge.2 | 16核 | 32G(基础Proxy集群双副本24G(3分片) )2 * c8.4xlarge.2...工具

来自：
帮助文档
分布式缓存服务Redis版
性能白皮书
Redis 6.0 Proxy集群实例测试数据
备份DBService数据
本章主要介绍翼MapReduce的备份DBService数据功能。操作场景为了确保DBService日常数据安全,或者系统管理员需要对DBService进行重大操作(如升级或迁移等)时,需要对DBService数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复,将对业务的影响降到最低。系统管理员可以通过FusionInsight Manager创建备份DBService任务并备份数据。支持创建任务自动或手动备份数据。

来自：
帮助文档
翼MapReduce
用户指南
FusionInsight Manager操作指导（适用于3.x）
备份恢复管理
备份数据
备份DBService数据
备份NameNode数据
本章主要介绍翼MapReduce的备份NameNode数据功能。操作场景为了确保NameNode日常数据安全,或者系统管理员需要对NameNode进行重大操作(如升级或迁移等),需要对NameNode数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复,将对业务的影响降到最低。系统管理员可以通过FusionInsight Manager创建备份NameNode任务。支持创建任务自动或手动备份数据。

来自：
帮助文档
翼MapReduce
用户指南
FusionInsight Manager操作指导（适用于3.x）
备份恢复管理
备份数据
备份NameNode数据
查看监控数据
在弹性文件监控页面选定“OceanFS"页签,需要查看的文件系统名称,单击操作栏下面的“查看监控图标”,即可进入监控数据页面。您可以选择监控时间段,查看对应的文件系统监控数据。也可以点击具体监控项图标右上角的“查看”按钮设定所需查看的监控时间段、周期等,获取想要的监控数据。方式三:通过OpenAPI获取海量文件服务的监控指标支持通过云监控服务OpenAPI获取,参考使用API查询云监控数据-云监控服务-最佳实践 - 天翼云。

来自：
帮助文档
海量文件服务 OceanFS
用户指南
监控告警
查看监控数据
查看监控数据
系统盘利用率 = 100% -(剩余系统盘大小/系统盘大小)%是5分钟数据盘大小该指标用于统计日志审计实例的实际数据盘大小。GB是5分钟剩余数据盘大小该指标用于统计日志审计实例的空闲的数据盘大小。GB是5分钟数据盘利用率该指标用于统计日志审计实例的数据盘利用率。系统盘利用率 = 100% -(剩余数据盘大小/数据盘大小)%是5分钟查看监控图表登录天翼云控制中心。在产品服务列表中“管理与部署 > 云监控服务”,进入云监控服务主页面。在左侧导航栏,选择“云服务监控”,单击“日志审计(原生版)”产品。

来自：
帮助文档
日志审计（原生版）
用户指南
使用云监控服务监控日志审计实例
查看监控数据
数据库审计v1.0
可以通过设计规则来实现,如源IP是主数据库,目的IP是备数据库,这类命令全部过滤,不审计。数据库审计Agent在服务器上生成的日志包含哪些内容?数据库审计Agent在服务器上生成的日志只是Agent的运行日志,且日志的容量有上限,50M*7=350M,存7天,循环覆盖,单日最大是50M。数据库审计是否支持报表导出ofd格式?不支持。在数据库所在服务器上,用数据库工具对数据库进行操作能审计到吗?对应本地审计功能,通过安装Agent的方式是可以的。用户的数据库有区分主库和备库,这种情况占用几个授权?

来自：
帮助文档
云等保专区
常见问题
产品配置类
数据库审计
数据库审计v1.0
数据管理
此章节为您介绍如何管理云堡垒机的数据。您可在堡垒机存储配置页查看已使用的存储空间。当存储空间可用内存不足时,建议您及时删除历史系统数据,或变更实例规格扩充数据盘大小。查看存储空间登录云堡垒机(原生版)实例。在左侧导航栏选择“系统管理 > 数据管理”,进入“存储配置”页面。您可在“存储配置”页面查看已用的存储空间和设置自动删除的内容。开启自动删除功能打开自动删除功能,将“自动删除”后的按钮切换至开启状态。填写需要保留数据月数,默认为6个月。勾选需要删除的内容后,单击“保存”。

来自：
帮助文档
云堡垒机（原生版）
用户指南
管理员手册
系统管理
数据管理
数据管理
此章节为您介绍如何管理云堡垒机的数据。您可在堡垒机存储配置页查看已使用的存储空间。当存储空间可用内存不足时,建议您及时删除历史系统数据,或变更实例规格扩充数据盘大小。查看存储空间 1.登录云堡垒机(原生版)实例。 2.在左侧导航栏选择“系统管理 > 数据管理”,进入“存储配置”页面。 3.您可在“存储配置”页面查看已用的存储空间和设置自动删除的内容。开启自动删除功能 1.打开自动删除功能,将“自动删除”后的按钮切换至开启状态“”。 2.填写需要保留数据月数,默认为6个月。

来自：
帮助文档
云堡垒机（原生版）
用户指南
管理员手册
系统管理
数据管理
查询UV数据
接口描述:调用本接口查询UV数据请求方式:post 请求路径:/statistics/query-uv-data 使用说明: 单个用户一分钟限制调用10000次,并发不超过100; 单次查询输入域名的个数不能超过100个; 若开始时间(start_time)和结束时间(end_time)间隔大于1天,按时间粒度1d返回数据,否则按时间粒度1h返回数据数据延迟时间15分钟,可查询历史数据时间范围为最近183天,支持最大时间跨度93天若查询结束时间不包含在该批次的最后一秒,默认end_time

来自：
帮助文档
全站加速
API参考
API
统计分析
查询UV数据
导出性能数据
--start-time START_TIME性能数据导出的起始时间。格式为yyyy-MM-dd HH:mm:ss,如果不指定,默认为性能数据导出结束时间2小时之前的时间点。注意起始时间必须早于结束时间,且起始时间不能早于服务器当前时间一年。--end-time END_TIME性能数据导出的结束时间。格式为yyyy-MM-dd HH:mm:ss,默认值为当前时间。注意起始时间必须早于结束时间。-o DIERECTORY 或 --out DIERECTORY指定导出文件存放的目录,为绝对路径。

来自：
帮助文档
存储资源盘活系统
命令行参考
监控
导出性能数据
导出监控数据
本文主要介绍如何导出监控数据。操作场景: 如果您想通过对弹性IP的带宽或流量使用情况进行分析来定位问题,您可以导出EIP相关监控数据。操作步骤: 1.登录管理控制台。 2.在系统首页,选择“管理与部署 > 云监控服务”。 3.在左侧导航栏,选择“云服务监控 > 弹性IP和带宽”。 4.在“云服务监控”页面,单击“导出监控数据”。 5.根据界面提示选择“时间区间”、“资源类型”、“维度”、“监控对象”、“监控指标”。 6.单击 “导出”。

来自：
帮助文档
弹性IP
用户指南
导出监控数据
同步增量数据
本章介绍如何同步增量数据。操作场景启动目的端后,如果您的源端服务器有增量数据,您可以使用同步功能,将源端增量数据同步到目的端。只有迁移实时状态为“已完成”的任务,才可以进行同步操作。操作步骤登录主机迁移服务管理控制台。在左侧导航树中,选择“迁移服务器”,进入迁移服务器列表页面。在迁移服务器列表页面找到需要进行同步的服务器,在“操作”列,单击“同步”。在弹出的“同步”窗口,仔细查看同步说明,确认同步增量数据后,单击“是”。

来自：
帮助文档
主机迁移服务SMS
快速入门
同步增量数据
同步增量数据
本章介绍如何配置同步增量数据。操作场景启动目的端后,如果您的源端服务器有增量数据,您可以使用同步功能,将源端增量数据同步到目的端。说明只有迁移实时状态为“已完成”的任务,才可以进行同步操作。操作步骤登录主机迁移服务管理控制台。在左侧导航树中,选择“迁移服务器”,进入迁移服务器列表页面。在迁移服务器列表页面找到需要进行同步的服务器,在“操作”列,单击“同步”。在弹出的“同步”窗口,仔细查看同步说明。确认同步增量数据后,单击“是”。

来自：
帮助文档
主机迁移服务SMS
用户指南
迁移服务器管理
同步增量数据
取消添加任务
本节为您介绍数据迁移工具取消添加任务操作。点击取消,可以成功取消任务创建,返回任务管理主界面

来自：
帮助文档
云迁移服务CMS
用户指南
数据迁移服务模块
添加任务
取消添加任务
数据服务
数据服务专享版提供的API配额已满怎么解决? 如果数据服务专享版提供的API配额已满,无法创建新的API时可修改API配额。

来自：
帮助文档
数据治理中心 DataArts Studio
常见问题
操作类
数据服务
查询PV数据
接口描述:调用本接口查询PV数据请求方式:post 请求路径:/statistics/query-pv-data 使用说明: 单个用户一分钟限制调用10000次,并发不超过100; 单次查询输入域名的个数不能超过100个; 按时间粒度5分钟返回数据,数据延迟时间20分钟,可查询历史数据时间范围为最近183天,支持最大时间跨度31天若查询结束时间不包含在该批次的最后一秒,默认end_time为该批次最后一秒,例如:时间粒度为1h,end_time设置为17:30对应的时间戳,此时end_time

来自：
帮助文档
全站加速
API参考
API
统计分析
查询PV数据
查询PV数据
接口描述:调用本接口查询PV数据请求方式:post 请求路径:/statistics/query-pv-data 使用说明: 单个用户一分钟限制调用10000次,并发不超过100; 单次查询输入域名的个数不能超过100个; 按时间粒度5分钟返回数据,数据延迟时间20分钟,可查询历史数据时间范围为最近365天,支持最大时间跨度31天若查询结束时间不包含在该批次的最后一秒,默认end_time为该批次最后一秒,例如:时间粒度为1h,end_time设置为17:30对应的时间戳,此时end_time

来自：
帮助文档
CDN加速
API参考
API
统计分析
查询PV数据
查询UV数据
接口描述:调用本接口查询UV数据请求方式:post 请求路径:/statistics/query-uv-data 使用说明: 单个用户一分钟限制调用10000次,并发不超过100; 单次查询输入域名的个数不能超过100个; 按时间粒度1h返回数据,数据延迟时间15分钟,可查询历史数据时间范围为最近183天,支持最大时间跨度93天若查询结束时间不包含在该批次的最后一秒,默认end_time为该批次最后一秒,例如:时间粒度为1h,end_time设置为17:30对应的时间戳,此时end_time

来自：
帮助文档
CDN加速
API参考
API
统计分析
查询UV数据
数据类型
本页介绍DRDS的数据类型,包括数字类型、字符类型、二进制数据类型、日期类型和布尔类型。开发限制DRDS对于数据类型有如下开发限制:不支持用户自定义数据类型。integer类型不使用unsigned无符号属性。自增用8字节bigint,不要使用4字节integer。日期类型用DATETIME 类型,需要精确到毫秒用DATETIME(6),不要使用integer、timestamp。类型JSON可用于存储非结构化数据,典型场景为用户标签,不要将JSON用于频繁更新的字段场景。

来自：
帮助文档
分布式关系型数据库
开发指南
数据类型

天翼云最新活动

11.11智惠上云月

爆款云主机2核2G28.8元/年起！更有限时续费优惠，最低3.5折！

免费体验DeepSeek，上天翼云息壤

新老用户均可免费体验2500万Tokens，限时两周

云上钜惠

爆款云主机全场特惠，更有万元锦鲤券等你来领！

算力套餐

让算力触手可及

天翼云AI产品特惠

人脸识别+文字识别焕新，新用户免费试用

中小企业服务商合作专区

国家云助力中小企业腾飞，高额上云补贴重磅上线

出海产品促销专区

爆款云主机低至2折，高性价比，不限新老速来抢购！

天翼云电脑专场

移动办公新选择，爆款4核8G畅享1年3.5折起，快来抢购！

息壤智算

应用商城

定价

合作伙伴

开发者

支持与服务

了解天翼云

天翼云最新活动

产品推荐

物理机

镜像服务

天翼云CTyunOS系统

训推服务

AI Store

算力互联调度平台

人脸检测

动作活体识别

文本涉黄审核

推荐文档

邀请参会方

域名实名认证

应用数据管理

大事记

分布式消息服务相关术语解释

域名DNS配置