什么是流式数据
是一种随时间源源不断增长的动态数据集合,一般会按一定的顺序、大量、常驻的产生。流式数据分为无界数据流和有界数据流。
无界数据流:无界数据流有一个开始但是没有结束,它们不会在生成时终止并提供数据,必须连续处理无界流,也就是说必须在获取后立即处理事件。对于无界数据流我们无法等待所有数据都到达,因为输入是无界的,并且在任何时间点都不会完成。处理无界数据通常要求以特定顺序(例如事件发生的顺序)获取事件,以便能够推断结果完整性。
有界数据流:有界数据流有明确定义的开始和结束,可以在执行任何计算之前通过获取所有数据来处理有界流,处理有界流不需要有序获取,因为可以始终对有界数据集进行排序,有界流的处理也称为批处理。
业务痛点
当前,随着大数据业务的不断深入,越来越多的企业意识到数据价值随时间的流式而逐渐降低的问题。满足实时数据的处理成为企业的重点关注目标。传统的数据处理的架构无法满足企业的大规模、低延时、高弹性、高可用的诉求。同时,针对实时和离线数据的计算逻辑统一也是企业关注的重点之一,如何进行批流一体的,低学习成本、低运维量、高性价比的实时计算开发成为企业级特别是中小企业实时计算引擎的需求方向。
常见的实时计算应用场景
- 统计分析类:实时数仓、实时大屏、实时库存;
- 应用类:实时风控、实时推荐、游戏加速、实时预测;
- 监控类:实时监控、实时布控(智慧城市公安)、流量监测。
云原生实时计算引擎方案
天翼云大数据云原生底座基于智能调度平台“息壤”实现海量资源的实时调度能力,为用户调度海量资源,提供算力支持。弹性可伸缩,免运维,支持边缘云场景,延迟更低。高可用,秒级自愈。
实时计算 翼Flink优势
- 全托管一站式:提供全托管版 Flink集群和引擎 用户无需关注底层 开箱即用,免运维。
- 兼容生态:兼容开源Flink生态,迁移成本低,性能更优异,上云更便捷,覆盖更多应用场景。
- 无缝连接:无缝对接天翼云消息队列、数据库、大数据平台及主流开源数据产品 。
- 安全隔离:从空间和进程两个维度隔离资源环境,结合天翼云账号体系,达成细粒度的权限管控,保障用户的作业数据安全。
核心能力简介
1、资源管理模块
为公有云用户提供全托管的计算引擎,弹性可伸缩,能够按量或包周期计费使用。如:购买和创建工作空间、建立项目空间、分配各空间资源&权限、资源回收等。
2、作业开发模块
用于Flink作业的开发,或与之相关的有助于用户聚焦业务逻辑、快速开发数据加工逻辑的辅助功能。如:元数据管理、作业模板、启动参数设置、历史版本管理等。
3、作业运维模块
用于Flink作业在运行过程中的监控和管理,用于增强作业稳定性、资源利用更优的功能。如:告警管理、日志查看、作业启停、状态集管理等。
更多功能敬请期待天翼云大数据首款云原生产品:实时计算 翼Flink公测上线!