dremio 学习一 简单了解
dremio 是一个数据湖引擎,包含以下特性
- 快速的查询
基于了apache arrow 进行数据查询
- 自服务的语义层
可以依托dremio 提供的数据虚拟服务层以及space 解决
- 基于灵活以及开源的技术
没有厂商技术的限制 - 强大join 支持
支持我们查询各种数据,同时进行join ,包含了商业以及开源的数据湖方案, - 支持数据的Reflection(好多翻译为反射)
可以给予预聚合以及原始数据的模式,进行数据的加速获取处理,可以明显的减少对于原始数据的查询 - 很强大的访问控制
当然开源版本比较弱,只有管理员的权限,需要企业版的支持 - 数据血缘分析
我们可以基于数据查询以及虚拟数据集,进行数据的关联分析 - 强大的查询下推支持
可以基于arp (高级关联下推)可以进行复杂的数据查询处理 - dremo hub &&sdk 支持
我们可以基于周边进行dremio 的扩展