活动

天翼云最新优惠活动,涵盖免费试用,产品折扣等,助您降本增效!
查看全部活动
热门活动
  • 免费体验DeepSeek,上天翼云息壤 NEW 新老用户均可免费体验2500万Tokens,限时两周
  • 云上钜惠 HOT 爆款云主机全场特惠,更有万元锦鲤券等你来领!
  • 算力套餐 HOT 让算力触手可及
  • 天翼云脑AOne NEW 连接、保护、办公,All-in-One!
  • 一键部署Llama3大模型学习机 0代码一键部署,预装最新主流大模型Llama3与StableDiffusion
  • 中小企业应用上云专场 产品组合下单即享折上9折起,助力企业快速上云
  • 息壤高校钜惠活动 NEW 天翼云息壤杯高校AI大赛,数款产品享受线上订购超值特惠
  • 天翼云电脑专场 HOT 移动办公新选择,爆款4核8G畅享1年3.5折起,快来抢购!
  • 天翼云奖励推广计划 加入成为云推官,推荐新用户注册下单得现金奖励
免费活动
  • 免费试用中心 HOT 多款云产品免费试用,快来开启云上之旅
  • 天翼云用户体验官 NEW 您的洞察,重塑科技边界

智算服务

打造统一的产品能力,实现算网调度、训练推理、技术架构、资源管理一体化智算服务
智算云(DeepSeek专区)
科研助手
  • 算力商城
  • 应用商城
  • 开发机
  • 并行计算
算力互联调度平台
  • 应用市场
  • 算力市场
  • 算力调度推荐
一站式智算服务平台
  • 模型广场
  • 体验中心
  • 服务接入
智算一体机
  • 智算一体机
大模型
  • DeepSeek-R1-昇腾版(671B)
  • DeepSeek-R1-英伟达版(671B)
  • DeepSeek-V3-昇腾版(671B)
  • DeepSeek-R1-Distill-Llama-70B
  • DeepSeek-R1-Distill-Qwen-32B
  • Qwen2-72B-Instruct
  • StableDiffusion-V2.1
  • TeleChat-12B

应用商城

天翼云精选行业优秀合作伙伴及千余款商品,提供一站式云上应用服务
进入甄选商城进入云市场创新解决方案
办公协同
  • WPS云文档
  • 安全邮箱
  • EMM手机管家
  • 智能商业平台
财务管理
  • 工资条
  • 税务风控云
企业应用
  • 翼信息化运维服务
  • 翼视频云归档解决方案
工业能源
  • 智慧工厂_生产流程管理解决方案
  • 智慧工地
建站工具
  • SSL证书
  • 新域名服务
网络工具
  • 翼云加速
灾备迁移
  • 云管家2.0
  • 翼备份
资源管理
  • 全栈混合云敏捷版(软件)
  • 全栈混合云敏捷版(一体机)
行业应用
  • 翼电子教室
  • 翼智慧显示一体化解决方案

合作伙伴

天翼云携手合作伙伴,共创云上生态,合作共赢
天翼云生态合作中心
  • 天翼云生态合作中心
天翼云渠道合作伙伴
  • 天翼云代理渠道合作伙伴
天翼云服务合作伙伴
  • 天翼云集成商交付能力认证
天翼云应用合作伙伴
  • 天翼云云市场合作伙伴
  • 天翼云甄选商城合作伙伴
天翼云技术合作伙伴
  • 天翼云OpenAPI中心
  • 天翼云EasyCoding平台
天翼云培训认证
  • 天翼云学堂
  • 天翼云市场商学院
天翼云合作计划
  • 云汇计划
天翼云东升计划
  • 适配中心
  • 东升计划
  • 适配互认证

开发者

开发者相关功能入口汇聚
技术社区
  • 专栏文章
  • 互动问答
  • 技术视频
资源与工具
  • OpenAPI中心
开放能力
  • EasyCoding敏捷开发平台
培训与认证
  • 天翼云学堂
  • 天翼云认证
魔乐社区
  • 魔乐社区

支持与服务

为您提供全方位支持与服务,全流程技术保障,助您轻松上云,安全无忧
文档与工具
  • 文档中心
  • 新手上云
  • 自助服务
  • OpenAPI中心
定价
  • 价格计算器
  • 定价策略
基础服务
  • 售前咨询
  • 在线支持
  • 在线支持
  • 工单服务
  • 建议与反馈
  • 用户体验官
  • 服务保障
  • 客户公告
  • 会员中心
增值服务
  • 红心服务
  • 客户支持计划
  • 专家技术服务
  • 备案管家

了解天翼云

天翼云秉承央企使命,致力于成为数字经济主力军,投身科技强国伟大事业,为用户提供安全、普惠云服务
品牌介绍
  • 关于天翼云
  • 智算云
  • 天翼云4.0
  • 新闻资讯
  • 天翼云APP
基础设施
  • 全球基础设施
  • 产品能力
  • 信任中心
最佳实践
  • 精选案例
  • 超级探访
  • 云杂志
  • 分析师和白皮书
  • 天翼云·创新直播间
市场活动
  • 2025智能云生态大会
  • 2024智算云生态大会
  • 2023云生态大会
  • 2022云生态大会
  • 天翼云中国行
天翼云
  • 活动
  • 智算服务
  • 产品
  • 解决方案
  • 应用商城
  • 合作伙伴
  • 开发者
  • 支持与服务
  • 了解天翼云
    • 关系数据库SQL Server版
    • 企业主机安全
    • 云防火墙
    • CDN加速
    • 物理机
    • GPU云主机
    • 天翼云电脑(政企版)
    • 天翼云电脑(公众版)
    • 云主机备份
    • 弹性云主机
      搜索发现
      关系数据库SQL Server版企业主机安全云防火墙CDN加速物理机GPU云主机天翼云电脑(政企版)天翼云电脑(公众版)云主机备份弹性云主机
    • 文档
    • 控制中心
    • 备案
    • 管理中心
    • 登录
    • 免费注册

    查看所有产品

    云日志服务

    云日志服务

    目录
      • 产品动态
      • 产品介绍
      • 产品定义
      • 功能特性
      • 产品优势
      • 应用场景
      • 术语解释
      • 使用限制
      • 基础资源
      • 数据读写
      • 日志采集器
      • 查询与分析
      • 操作系统
      • 与其他服务关系
      • 计费说明
      • 计费概述
      • 计费模式
      • 按需计费
      • 资源包
      • 计费项
      • 计费样例
      • 欠费说明
      • 停止计费与退订
      • 计费FAQ
      • 快速入门
      • 入门概览
      • 开通云日志服务
      • 创建日志项目与日志单元
      • 日志接入
      • 查询与分析
      • 用户指南
      • 日志管理
      • 日志管理概述
      • 资源统计
      • 管理日志项目
      • 管理日志单元
      • 超额采集配置
      • 标签管理
      • 日志接入
      • 概述
      • 主机管理
      • 主机组管理
      • 采集器安装
      • 采集器管理
      • 接入云主机-文本日志
      • 接入云容器引擎-应用日志
      • 日志结构化解析
      • 单行全文模式
      • 多行全文模式
      • 单行分隔符模式
      • 单行正则模式
      • 多行正则模式
      • JSON模式
      • Nginx分词
      • 日志主题
      • 自定义日志时间
      • API接入
      • API接入概述
      • 访问地址(Endpoint)
      • 上报日志
      • SDK接入
      • SDK接入概述
      • 云日志服务Go SDK
      • 云日志服务Java SDK
      • 云日志服务Python SDK
      • 云日志服务C++ SDK
      • 云日志服务Log4j2 SDK
      • 云日志服务Logback SDK
      • 云日志服务Logging handler SDK
      • 云日志服务C SDK
      • 云日志服务.NET SDK
      • 云日志服务PHP SDK
      • 云日志服务 node.js SDK
      • 错误码
      • 其他接入方式
      • Systemd Journal日志采集
      • 使用Syslog协议(采集器)上传日志
      • 通过对象存储导入日志
      • 通过kafka导入日志
      • Windows事件日志采集
      • Nginx日志采集
      • 云服务日志接入
      • 云服务操作日志
      • 对象存储访问日志
      • 查询与分析
      • 日志查询
      • 日志查询
      • 上下文查询
      • 查询语法
      • SQL统计分析
      • 概述
      • SQL语法
      • 交互模式构造分析场景
      • 基础分析-字段筛选&过滤
      • 基础统计-指标统计
      • 基础统计-分组统计
      • 高级统计-日志占比
      • 高级统计-TopN
      • 高级统计-时间趋势
      • 经典分析样例
      • 内置保留字段
      • 索引配置
      • 日志聚类
      • 日志可视化
      • 可视化概述
      • 统计图表
      • 概述
      • 表格
      • 柱状图
      • 时序图
      • 饼图
      • 流图
      • 数值图
      • 散点图
      • 仪表盘
      • 创建仪表盘
      • 添加过滤器
      • 添加可视化图表
      • 权限管理
      • 数据加工
      • 数据加工概述
      • 基本概念
      • 创建数据加工任务
      • 管理数据加工任务
      • 数据加工语法
      • 概述
      • 流程控制函数
      • 事件操作函数
      • 字段操作函数
      • 事件操作函数
      • 操作符函数
      • 事件检查函数
      • 转换函数
      • 算术函数
      • 字符串函数
      • 日期时间函数
      • 正则表达式函数
      • 特定结构化数据函数
      • 编码解码函数
      • 日志转储
      • 概述
      • 转储至分布式消息服务Kafka
      • 转储至对象存储ZOS
      • 日志告警
      • 概述
      • 通知组管理
      • 通知策略管理
      • 告警规则
      • 告警历史
      • 告警事件历史
      • 告警发送历史
      • 静默策略
      • 最佳实践
      • 将本地日志迁移到云日志服务
      • 优化查询性能
      • 查询Log4j日志
      • 查询分析Nginx访问日志
      • 数据加工-日志过滤
      • 数据加工-为日志空缺字段赋值
      • 数据加工-为日志不存在的字段填充默认值
      • 告警-出现关键字即触发告警
      • 告警-根据关键字出现的次数设置告警
      • 基于业务日志的运维分析
      • API参考
      • API使用说明
      • 常见问题
      • 售前常见问题
      • 日志管理
      • 云日志服务使用建议
      • 云日志服务LTS对比自建ELK,应该如何选择?
      • 如何从第三方云厂商将日志搬迁到天翼云?
      • 数据采集
      • 常见问题
      • 如何查看日志采集器的运行状态?
      • 云日志服务可以采集哪类日志?支持采集哪些文件类型?
      • 云主机采集器无法连通如何处理?
      • 采集器安装失败如何处理?
      • 如何创建云日志服务终端节点?
      • 主机接入配置完成后未采集到日志如何处理?
      • 如何查看与升级插件版本?
      • 主机组中新增云主机后,如何启动日志采集?
      • 如何获取访问密钥(AK/SK)?
      • 数据存储
      • 查询与分析
      • 常见问题
      • 为什么检索不到日志?
      • 查询语法相关问题
      • 数据加工
      • 日志转储
      • 日志告警
      • 常见问题
      • 为什么出现漏告警或者误告警?
      • 触发告警成功,但是通知失败,如何处理?
      • 相关协议
      • 产品服务协议
      • 产品服务等级协议
        无相关产品

        本页目录

        基本概念

        ETL

        事件、数据、日志

        日志时间

        日志标签

        配置相关概念

        源日志单元

        目标日志单元

        DSL

        加工规则

        加工任务

        选择产品所在区域 根据产品所在区域的不同,文档内容也会对应进行调整
        一类节点
        一类节点
        华东地区
        杭州7/华东1/南昌5/上海36/芜湖4
        华南地区
        长沙42/华南2/武汉41
        西北地区
        庆阳2/乌鲁木齐7/西安7
        西南地区
        西南1/西南2-贵州
        北方地区
        华北2/呼和浩特3/青岛20/太原4/郑州5
        选择节点类型
        一类节点
        华东地区
        杭州7/华东1/南昌5/上海36/芜湖4
        华南地区
        长沙42/华南2/武汉41
        西北地区
        庆阳2/乌鲁木齐7/西安7
        西南地区
        西南1/西南2-贵州
        北方地区
        华北2/呼和浩特3/青岛20/太原4/郑州5
        二类节点
        华东地区
        杭州/南昌/上海4/苏州
        华南地区
        福州1/广州4/武汉2
        西北地区
        西安2
        西南地区
        成都3/贵州1
        北方地区
        北京2/华北/内蒙3/石家庄
        帮助中心 云日志服务 用户指南 数据加工 基本概念
        选择产品所在区域 根据产品所在区域的不同,文档内容也会对应进行调整
        一类节点
        一类节点
        华东地区
        杭州7/华东1/南昌5/上海36/芜湖4
        华南地区
        长沙42/华南2/武汉41
        西北地区
        庆阳2/乌鲁木齐7/西安7
        西南地区
        西南1/西南2-贵州
        北方地区
        华北2/呼和浩特3/青岛20/太原4/郑州5
        选择节点类型
        一类节点
        华东地区
        杭州7/华东1/南昌5/上海36/芜湖4
        华南地区
        长沙42/华南2/武汉41
        西北地区
        庆阳2/乌鲁木齐7/西安7
        西南地区
        西南1/西南2-贵州
        北方地区
        华北2/呼和浩特3/青岛20/太原4/郑州5
        二类节点
        华东地区
        杭州/南昌/上海4/苏州
        华南地区
        福州1/广州4/武汉2
        西北地区
        西安2
        西南地区
        成都3/贵州1
        北方地区
        北京2/华北/内蒙3/石家庄
        基本概念
        更新时间 2024-08-21 19:12:16
        • 新浪微博
        • 微信
          扫码分享
        • 复制链接
        最近更新时间: 2024-08-21 19:12:16
        下载本页

        基本概念

        2024-08-21 11:12:16

        基本概念

        ETL

        ETL是指将对业务系统的数据进行抽取、清洗、转换、加载的过程,从而整合零散、不标准、不统一的数据。云日志服务支持加载源日志单元数据,将数据转换后输出到目标日志单元。

        事件、数据、日志

        在数据加工功能中,事件、数据都表示日志,例如事件时间就是日志时间,丢弃事件字段函数e_drop_fields就是用于丢弃特定日志字段的函数。

        日志时间

        日志时间指事件所发生的时间,也称事件时间。在云日志服务中的保留字段为__time__,一般由日志中的时间信息直接提取生成。数据类型为整数字符串,Unix标准时间格式,单位为秒,表示从1970-1-1 00:00:00 UTC计算起的秒数。

        日志标签

        日志存在标记,区别于其他字段,在数据加工中,标签字段以__tag__:作为前缀。包括:

        • 用户自定义标签:用户通过API PutLogs写入数据时添加的标签。
        • 系统标签:云日志服务为用户添加的标签,包括__client_ip__和__receive_time__。

        配置相关概念

        源日志单元

        数据加工中,从中读取数据再进行加工的日志单元是源日志单元。

        一个加工任务仅支持一个源日志单元,但可以对一个源日志单元配置多个加工任务。

        目标日志单元

        数据加工中,数据写入的日志单元是目标日志单元。

        一个加工任务可以配置多个目标日志单元,可以是静态配置,也可以是动态配置。具体配置方法,请参见多目标日志单元数据分发。

        DSL

        DSL(Domain Specific Language)是云日志服务数据加工使用的一种Python兼容的脚本语言。DSL基于Python提供内置一百多个函数,简化常见的数据加工模式。也支持用户自定义的扩展Python脚本。

        加工规则

        数据加工脚本, DSL编排的逻辑代码的集合。

        加工任务

        数据加工最小调度单元,由源日志单元、目标日志单元、加工规则、加工时间范围以及其他配置项组成

        分享文章
        • 新浪微博
        • 微信
          扫码分享
        • 复制链接
        本文主要介绍云日志服务中数据加工的基本概念。

        基本概念

        ETL

        ETL是指将对业务系统的数据进行抽取、清洗、转换、加载的过程,从而整合零散、不标准、不统一的数据。云日志服务支持加载源日志单元数据,将数据转换后输出到目标日志单元。

        事件、数据、日志

        在数据加工功能中,事件、数据都表示日志,例如事件时间就是日志时间,丢弃事件字段函数e_drop_fields就是用于丢弃特定日志字段的函数。

        日志时间

        日志时间指事件所发生的时间,也称事件时间。在云日志服务中的保留字段为__time__,一般由日志中的时间信息直接提取生成。数据类型为整数字符串,Unix标准时间格式,单位为秒,表示从1970-1-1 00:00:00 UTC计算起的秒数。

        日志标签

        日志存在标记,区别于其他字段,在数据加工中,标签字段以__tag__:作为前缀。包括:

        • 用户自定义标签:用户通过API PutLogs写入数据时添加的标签。
        • 系统标签:云日志服务为用户添加的标签,包括__client_ip__和__receive_time__。

        配置相关概念

        源日志单元

        数据加工中,从中读取数据再进行加工的日志单元是源日志单元。

        一个加工任务仅支持一个源日志单元,但可以对一个源日志单元配置多个加工任务。

        目标日志单元

        数据加工中,数据写入的日志单元是目标日志单元。

        一个加工任务可以配置多个目标日志单元,可以是静态配置,也可以是动态配置。具体配置方法,请参见多目标日志单元数据分发。

        DSL

        DSL(Domain Specific Language)是云日志服务数据加工使用的一种Python兼容的脚本语言。DSL基于Python提供内置一百多个函数,简化常见的数据加工模式。也支持用户自定义的扩展Python脚本。

        加工规则

        数据加工脚本, DSL编排的逻辑代码的集合。

        加工任务

        数据加工最小调度单元,由源日志单元、目标日志单元、加工规则、加工时间范围以及其他配置项组成

        上一篇 :  数据加工概述
        下一篇 :  创建数据加工任务
        相关文档
        数据采集
        单行全文模式
        Nginx分词
        数据加工-为日志空缺字段赋值
        添加过滤器
        概述
        建议与反馈
        以上内容是否对您有帮助?
        有 没有
        感谢您的反馈,您的支持是我们前进的动力!
        您的操作过于频繁,清稍后再试
        文档反馈

        建议您登录后反馈,可在建议与反馈里查看问题处理进度

        鼠标选中文档,精准反馈问题

        选中存在疑惑的内容,即可快速反馈问题,我们会跟进处理

        知道了

         文本反馈

        本页目录

        基本概念
        ETL
        事件、数据、日志
        日志时间
        日志标签
        配置相关概念
        源日志单元
        目标日志单元
        DSL
        加工规则
        加工任务
        搜索
          无相关产品
          ©2025 天翼云科技有限公司版权所有 增值电信业务经营许可证A2.B1.B2-20090001
          公司地址:北京市东城区青龙胡同甲1号、3号2幢2层205-32室
          备案 京公网安备11010802043424号 京ICP备 2021034386号
          ©2025天翼云科技有限公司版权所有
          京ICP备 2021034386号
          备案 京公网安备11010802043424号
          增值电信业务经营许可证A2.B1.B2-20090001
          用户协议 隐私政策 法律声明
          • 智能客服
            7*24小时不间断售后保障
          • 服务咨询
            400-810-9889
          • 建议与反馈
            天翼云与您共创优质云平台

          您对此文档页面满意吗?

          非常不满意 非常满意
          0 1 2 3 4 5 6 7 8 9 10
          操作失败,请您稍后再试