活动

天翼云最新优惠活动,涵盖免费试用,产品折扣等,助您降本增效!
热门活动
  • 618智算钜惠季 爆款云主机2核4G限时秒杀,88元/年起!
  • 免费体验DeepSeek,上天翼云息壤 NEW 新老用户均可免费体验2500万Tokens,限时两周
  • 云上钜惠 HOT 爆款云主机全场特惠,更有万元锦鲤券等你来领!
  • 算力套餐 HOT 让算力触手可及
  • 天翼云脑AOne NEW 连接、保护、办公,All-in-One!
  • 中小企业服务商合作专区 国家云助力中小企业腾飞,高额上云补贴重磅上线
  • 出海产品促销专区 NEW 爆款云主机低至2折,高性价比,不限新老速来抢购!
  • 天翼云电脑专场 HOT 移动办公新选择,爆款4核8G畅享1年3.5折起,快来抢购!
  • 天翼云奖励推广计划 加入成为云推官,推荐新用户注册下单得现金奖励
免费活动
  • 免费试用中心 HOT 多款云产品免费试用,快来开启云上之旅
  • 天翼云用户体验官 NEW 您的洞察,重塑科技边界

智算服务

打造统一的产品能力,实现算网调度、训练推理、技术架构、资源管理一体化智算服务
智算云(DeepSeek专区)
科研助手
  • 算力商城
  • 应用商城
  • 开发机
  • 并行计算
算力互联调度平台
  • 应用市场
  • 算力市场
  • 算力调度推荐
一站式智算服务平台
  • 模型广场
  • 体验中心
  • 服务接入
智算一体机
  • 智算一体机
大模型
  • DeepSeek-R1-昇腾版(671B)
  • DeepSeek-R1-英伟达版(671B)
  • DeepSeek-V3-昇腾版(671B)
  • DeepSeek-R1-Distill-Llama-70B
  • DeepSeek-R1-Distill-Qwen-32B
  • Qwen2-72B-Instruct
  • StableDiffusion-V2.1
  • TeleChat-12B

应用商城

天翼云精选行业优秀合作伙伴及千余款商品,提供一站式云上应用服务
进入甄选商城进入云市场创新解决方案
办公协同
  • WPS云文档
  • 安全邮箱
  • EMM手机管家
  • 智能商业平台
财务管理
  • 工资条
  • 税务风控云
企业应用
  • 翼信息化运维服务
  • 翼视频云归档解决方案
工业能源
  • 智慧工厂_生产流程管理解决方案
  • 智慧工地
建站工具
  • SSL证书
  • 新域名服务
网络工具
  • 翼云加速
灾备迁移
  • 云管家2.0
  • 翼备份
资源管理
  • 全栈混合云敏捷版(软件)
  • 全栈混合云敏捷版(一体机)
行业应用
  • 翼电子教室
  • 翼智慧显示一体化解决方案

合作伙伴

天翼云携手合作伙伴,共创云上生态,合作共赢
天翼云生态合作中心
  • 天翼云生态合作中心
天翼云渠道合作伙伴
  • 天翼云代理渠道合作伙伴
天翼云服务合作伙伴
  • 天翼云集成商交付能力认证
天翼云应用合作伙伴
  • 天翼云云市场合作伙伴
  • 天翼云甄选商城合作伙伴
天翼云技术合作伙伴
  • 天翼云OpenAPI中心
  • 天翼云EasyCoding平台
天翼云培训认证
  • 天翼云学堂
  • 天翼云市场商学院
天翼云合作计划
  • 云汇计划
天翼云东升计划
  • 适配中心
  • 东升计划
  • 适配互认证

开发者

开发者相关功能入口汇聚
技术社区
  • 专栏文章
  • 互动问答
  • 技术视频
资源与工具
  • OpenAPI中心
开放能力
  • EasyCoding敏捷开发平台
培训与认证
  • 天翼云学堂
  • 天翼云认证
魔乐社区
  • 魔乐社区

支持与服务

为您提供全方位支持与服务,全流程技术保障,助您轻松上云,安全无忧
文档与工具
  • 文档中心
  • 新手上云
  • 自助服务
  • OpenAPI中心
定价
  • 价格计算器
  • 定价策略
基础服务
  • 售前咨询
  • 在线支持
  • 在线支持
  • 工单服务
  • 建议与反馈
  • 用户体验官
  • 服务保障
  • 客户公告
  • 会员中心
增值服务
  • 红心服务
  • 首保服务
  • 客户支持计划
  • 专家技术服务
  • 备案管家

了解天翼云

天翼云秉承央企使命,致力于成为数字经济主力军,投身科技强国伟大事业,为用户提供安全、普惠云服务
品牌介绍
  • 关于天翼云
  • 智算云
  • 天翼云4.0
  • 新闻资讯
  • 天翼云APP
基础设施
  • 全球基础设施
  • 信任中心
最佳实践
  • 精选案例
  • 超级探访
  • 云杂志
  • 分析师和白皮书
  • 天翼云·创新直播间
市场活动
  • 2025智能云生态大会
  • 2024智算云生态大会
  • 2023云生态大会
  • 2022云生态大会
  • 天翼云中国行
天翼云
  • 活动
  • 智算服务
  • 产品
  • 解决方案
  • 应用商城
  • 合作伙伴
  • 开发者
  • 支持与服务
  • 了解天翼云
      • 文档
      • 控制中心
      • 备案
      • 管理中心
      文档中心

      数据仓库服务

      数据仓库服务

        • 产品动态
        • 产品简介
        • 产品定义
        • 产品优势
        • 功能特性
        • 应用场景
        • 术语解释
        • 与其他云服务的关系
        • DWS权限管理
        • 如何访问DWS
        • 使用限制
        • 技术指标
        • 计费说明
        • 资源节点
        • 产品规格
        • 产品价格
        • 计费模式
        • 购买
        • 变更
        • 续订
        • 退订
        • 快速入门
        • 注册天翼云账号
        • 入门前准备
        • 创建集群
        • 连接集群
        • 查看其它资料并清理资源
        • 用户指南
        • 使用简介
        • 准备工作
        • 创建与删除集群
        • 创建专属集群
        • 包年/包月计费操作
        • 删除集群
        • 连接集群
        • 连接集群的方式
        • 获取集群连接地址
        • 使用gsql命令行客户端连接集群
        • 下载客户端
        • 使用Linux gsql客户端连接集群
        • 使用Windows gsql客户端连接集群
        • 使用SSL进行安全的TCP/IP连接
        • 使用Data Studio图形界面客户端连接集群
        • 使用JDBC和ODBC连接集群
        • 使用Python第三方库psycopg2连接集群
        • 使用Python第三方库PyGreSQL连接集群
        • 管理数据库连接
        • 监控与告警
        • Cloud Eye监控集群
        • 事件通知
        • 事件通知概述
        • 查看事件
        • 告警管理
        • 告警管理简介
        • 告警规则
        • 订阅告警通知
        • 变配与扩容
        • 查看巡检
        • 节点管理
        • 节点变更
        • 集群扩容
        • 集群重分布
        • 重分布
        • 查看重分布详情
        • 集群缩容
        • 规格变更
        • 集群高可用
        • 管理快照
        • 快照概述
        • 手动快照
        • 自动快照
        • 查看快照信息
        • 恢复快照
        • 集群容灾
        • 容灾概述
        • 创建容灾
        • 查看容灾信息
        • 容灾管理
        • 容灾互斥案例
        • 集群绑定和解绑ELB
        • 管理CN节点
        • 集群运维
        • 智能运维
        • 智能运维概览
        • 管理运维计划
        • 查看运维任务
        • 解除只读
        • 管理快照
        • 重启集群
        • 重置密码
        • 升级集群
        • 审计日志
        • 审计日志概述
        • 管理控制台审计日志
        • 数据库审计日志
        • 设置数据库审计日志
        • 转储数据库审计日志
        • 查看数据库审计日志
        • 集群管理
        • 修改数据库参数
        • 查看集群状态
        • 查看集群详情
        • 修改集群名称
        • 管理集群访问域名
        • 集群拓扑图
        • 删除集群
        • 管理企业项目
        • 管理创建失败的集群
        • 集群主备恢复
        • 启停集群
        • 数据库用户管理
        • 升级集群
        • 集群日志管理
        • 集群安全管理
        • 设置三权分立
        • 资源管理
        • 概述
        • 资源池
        • 功能介绍
        • 添加资源池
        • 修改资源池
        • 删除资源池
        • 资源管理计划
        • 资源管理计划操作
        • 资源管理计划阶段
        • 空间管理
        • 管理数据源
        • 管理MRS数据源
        • 逻辑集群管理
        • 逻辑集群概述
        • 添加/删除逻辑集群
        • 管理逻辑集群
        • 教程:已有数据的物理集群转换逻辑集群
        • 教程:新物理集群划分为逻辑集群
        • 最佳实践
        • 导入导出
        • 导入数据最佳实践
        • GDS实践指南
        • 教程:从OBS导入数据到集群
        • 教程:使用GDS从远端服务器导入数据
        • 调优表实践
        • 表结构设计
        • 调优表概述
        • 选择表模型
        • 步骤1:创建初始表并加装样例数据
        • 步骤2:测试初始表结构下的系统性能并建立基线
        • 步骤3:调优表操作具体步骤
        • 步骤4:创建新表并加载数据
        • 步骤5:测试新的表结构下的系统性能
        • 步骤6:调优表性能评估
        • 附录:表创建语法
        • 附录使用说明
        • 初始表创建
        • 设计调优后二次表创建
        • 外表创建
        • 数据库管理
        • SQL查询优秀实践
        • 分析正在执行的SQL
        • 数据倾斜查询优秀实践
        • 导入过程存储倾斜即时检测
        • 快速定位查询存储倾斜的表
        • 用户管理优秀实践
        • 查看表和数据库的信息
        • 安全管理
        • 基于角色的权限管理(RBAC)
        • 实现数据列的加解密
        • 常见问题
        • 计费类
        • 购买类
        • 操作类
        • 通用问题
        • 集群管理
        • 数据库连接
        • 数据导入导出
        • 帐户、密码、权限
        • 数据库使用
        • 数据库性能
        • 相关协议
        • 数据仓库服务产品服务协议
        • 文档下载
        • 数据仓库服务用户操作指南
        • 数据仓库服务用户开发指南
        • 数据仓库服务工具指南
        • 数据仓库服务SQL语法参考
        • 数据仓库服务故障排除
        • 数据仓库服务错误码参考
          无相关产品

          本页目录

          帮助中心数据仓库服务最佳实践导入导出教程:从OBS导入数据到集群
          教程:从OBS导入数据到集群
          更新时间 2023-11-24 10:05:43
          • 新浪微博
          • 微信
            扫码分享
          • 复制链接
          最近更新时间: 2023-11-24 10:05:43
          分享文章
          • 新浪微博
          • 微信
            扫码分享
          • 复制链接
          本章节主要介绍从OBS导入数据到集群的最佳实践。

          教程指引

          说明

          l  ACCESS_KEY和SECRET_ACCESS_KEY

          用户访问OBS的AK和SK,请根据实际替换。获取访问密钥的具体步骤,请参见“常见问题-通用问题”中的“如何获取Access Key ID(AK)和 Secret Access Key(SK)”

          本教程旨在通过演示将样例数据上传OBS,及将OBS的数据导入进DWS上的目标表中,让您快速掌握如何从OBS导入数据到DWS集群的完整过程。

          在本教程中,您将:

          • 生成CSV格式的数据文件。
          • 创建一个与DWS集群在同一区域的OBS存储桶,然后将数据文件上传到该存储桶。
          • 创建外表,用于引流OBS存储桶中的数据到DWS集群。
          • 启动DWS并创建数据库表后,将OBS上的数据导入到表中。
          • 根据错误表中的提示诊断加载错误并更正这些错误。

          估计时间:30分钟

          准备数据源文件

          • 数据文件“product_info0.csv”
          100,XHDK-A,2017-09-01,A,2017 Shirt Women,red,M,328,2017-09-04,715,good! 
          205,KDKE-B,2017-09-01,A,2017 T-shirt Women,pink,L,584,2017-09-05,40,very good! 
          300,JODL-X,2017-09-01,A,2017 T-shirt men,red,XL,15,2017-09-03,502,Bad. 
          310,QQPX-R,2017-09-02,B,2017 jacket women,red,L,411,2017-09-05,436,It's nice. 
          150,ABEF-C,2017-09-03,B,2017 Jeans Women,blue,M,123,2017-09-06,120,good.
          
          • 数据文件“product_info1.csv”
          200,BCQP-E,2017-09-04,B,2017 casual pants men,black,L,997,2017-09-10,301,good quality. 
          250,EABE-D,2017-09-10,A,2017 dress women,black,S,841,2017-09-15,299,This dress fits well. 
          108,CDXK-F,2017-09-11,A,2017 dress women,red,M,85,2017-09-14,22,It's really amazing to buy. 
          450,MMCE-H,2017-09-11,A,2017 jacket women,white,M,114,2017-09-14,22,very good. 
          260,OCDA-G,2017-09-12,B,2017 woolen coat women,red,L,2004,2017-09-15,826,Very comfortable.
          
          • 数据文件“product_info2.csv”
          980,"ZKDS-J",2017-09-13,"B","2017 Women's Cotton Clothing","red","M",112,,, 
          98,"FKQB-I",2017-09-15,"B","2017 new shoes men","red","M",4345,2017-09-18,5473 
          50,"DMQY-K",2017-09-21,"A","2017 pants men","red","37",28,2017-09-25,58,"good","good","good" 
          80,"GKLW-l",2017-09-22,"A","2017 Jeans Men","red","39",58,2017-09-25,72,"Very comfortable." 
          30,"HWEC-L",2017-09-23,"A","2017 shoes women","red","M",403,2017-09-26,607,"good!" 
          40,"IQPD-M",2017-09-24,"B","2017 new pants Women","red","M",35,2017-09-27,52,"very good." 
          50,"LPEC-N",2017-09-25,"B","2017 dress Women","red","M",29,2017-09-28,47,"not good at all." 
          60,"NQAB-O",2017-09-26,"B","2017 jacket women","red","S",69,2017-09-29,70,"It's beautiful." 
          70,"HWNB-P",2017-09-27,"B","2017 jacket women","red","L",30,2017-09-30,55,"I like it so much" 
          80,"JKHU-Q",2017-09-29,"C","2017 T-shirt","red","M",90,2017-10-02,82,"very good."
          

          1.新建文本文档并使用本地编辑工具(例如Visual Studio Code)打开后,将示例数据拷贝进文本文档中。

          2.选择“格式>以UTF-8无BOM格式编码”。

          3.选择“文件>另存为”。

          4.在弹出的对话框中输入文件名后,将文件后缀设为.csv,单击“保存”。

          上传数据到OBS

          1.将上面准备的3个CSV格式的数据源文件存储到OBS桶中。

          a.登录OBS管理控制台。

          单击“服务列表”,选择“对象存储服务”,打开OBS管理控制台页面。

          b.创建桶。

          例如,创建以下两个桶:“mybucket”和“mybucket02”。

          注意

          确保这两个桶与DWS集群在同一个区域。

          c.新建文件夹。

          例如:

          −在已创建的OBS桶“mybucket”中新建一个文件夹“input_data”。

          −在已创建的OBS桶“mybucket02”中新建一个文件夹“input_data”。

          d.上传文件。

          例如:

          −将以下数据文件上传到OBS桶“mybucket”的“input_data”目录中。

          product_info0.csv 
          product_info1.csv
          

          −将以下数据文件上传到OBS桶“mybucket02”的“input_data”目录中。

          product_info2.csv
          

          2.为导入用户设置OBS桶的读取权限。

          在从OBS导入数据到集群时,执行导入操作的用户需要取得数据源文件所在OBS桶的读取权限。通过配置桶的ACL权限,可以将读取权限授予指定的用户帐号。

          创建外表

          1.连接DWS数据库。

          2.创建外表。

                            
          说明

          l  ACCESS_KEY和SECRET_ACCESS_KEY

          用户访问OBS的AK和SK,请根据实际替换。获取访问密钥的具体步骤,请参见“常见问题-通用问题”中的“如何获取Access Key ID(AK)和 Secret Access Key(SK)”。


          DROP FOREIGN TABLE IF EXISTS product_info_ext; 
          CREATE FOREIGN TABLE product_info_ext 
          ( 
              product_price                integer        not null, 
              product_id                   char(30)       not null, 
              product_time                 date           , 
              product_level                char(10)       , 
              product_name                 varchar(200)   , 
              product_type1                varchar(20)    , 
              product_type2                char(10)       , 
              product_monthly_sales_cnt    integer        , 
              product_comment_time         date           , 
              product_comment_num          integer        , 
              product_comment_content      varchar(200)      
          )  
          SERVER gsmpp_server  
          OPTIONS( 
          LOCATION 'obs://mybucket/input_data/product_info | obs://mybucket02/input_data/product_info', 
          FORMAT 'CSV' , 
          DELIMITER ',', 
          ENCODING 'utf8', 
          HEADER 'false', 
          ACCESS_KEY 'access_key_value_to_be_replaced', 
          SECRET_ACCESS_KEY 'secret_access_key_value_to_be_replaced', 
          FILL_MISSING_FIELDS 'true', 
          IGNORE_EXTRA_DATA 'true' 
          ) 
          READ ONLY  
          LOG INTO product_info_err  
          PER NODE REJECT LIMIT 'unlimited';
          

          返回如下信息表示创建成功:

          CREATE FOREIGN TABLE
          

          执行数据导入

          1.在DWS数据库中,创建一个名为product_info的表,用于存储从OBS导入的数据。

          DROP TABLE IF EXISTS product_info; 
          CREATE TABLE product_info 
          ( 
              product_price                integer        not null, 
              product_id                   char(30)       not null, 
              product_time                 date           , 
              product_level                char(10)       , 
              product_name                 varchar(200)   , 
              product_type1                varchar(20)    , 
              product_type2                char(10)       , 
              product_monthly_sales_cnt    integer        , 
              product_comment_time         date           , 
              product_comment_num          integer        , 
              product_comment_content      varchar(200)      
          )  
          WITH ( 
          orientation = column, 
          compression=middle 
          )  
          DISTRIBUTE BY hash (product_id);
          

          2.执行INSERT命令,通过外表product_info_ext将OBS上的数据导入到目标表product_info 中:

          INSERT INTO product_info SELECT * FROM product_info_ext;
          

          3.执行SELECT命令查询目标表product_info,查看从OBS导入到DWS中的数据。

          SELECT * FROM product_info;
          

          查询结果的结尾将显示以下信息:

          (20 rows)
          

          4.对表product_info执行VACUUM FULL。

          VACUUM FULL product_info;
          

          5.更新表product_info的统计信息。

          ANALYZE product_info;
          

          清除资源

          1.如果执行了导入数据后查询数据,请执行以下命令,删除目标表。

          DROP TABLE product_info;
          

          当结果显示为如下信息,则表示删除成功。

          DROP TABLE
          

          2.执行以下命令,删除外表。

          DROP FOREIGN TABLE product_info_ext;
          

          当结果显示为如下信息,则表示删除成功。

          DROP FOREIGN TABLE
          
          文档反馈

          建议您登录后反馈,可在建议与反馈里查看问题处理进度

          鼠标选中文档,精准反馈问题

          选中存在疑惑的内容,即可快速反馈问题,我们会跟进处理

          知道了

          上一篇 :  GDS实践指南
          下一篇 :  教程:使用GDS从远端服务器导入数据
          搜索 关闭
          ©2025 天翼云科技有限公司版权所有 增值电信业务经营许可证A2.B1.B2-20090001
          公司地址:北京市东城区青龙胡同甲1号、3号2幢2层205-32室
          备案 京公网安备11010802043424号 京ICP备 2021034386号
          ©2025天翼云科技有限公司版权所有
          京ICP备 2021034386号
          备案 京公网安备11010802043424号
          增值电信业务经营许可证A2.B1.B2-20090001
          用户协议 隐私政策 法律声明