dremio 连接dremio 扩展dremio 集群规模
将dremio 串联到dremio 可以扩展dremio 的能力提供一种联邦的能力,扩展数据查询以及数据虚拟层的能力
参考图
说明
就是类似一种联邦的模式,dremio 可以串联dremio,核心方法是开发一个dremio 的arp connector,具体的开发方式与cratedb 的模式是一样的
schema 的处理是核心与cratedb 是类似的,但是注意dremio 包含了schema,后期开发一个现成的分享下具体细节
2024-05-16 08:29:23 阅读次数:26
将dremio 串联到dremio 可以扩展dremio 的能力提供一种联邦的能力,扩展数据查询以及数据虚拟层的能力
就是类似一种联邦的模式,dremio 可以串联dremio,核心方法是开发一个dremio 的arp connector,具体的开发方式与cratedb 的模式是一样的
schema 的处理是核心与cratedb 是类似的,但是注意dremio 包含了schema,后期开发一个现成的分享下具体细节
information_schema 顾名思义就是一个信息库,是用来存储数据库的元数据(比如数据库,表的名称,列的数据类型或者访问权限等),在每个 MySQL 实例中,information_schema 保存了它维护的所有数据库的信息,这个库中包含了很多只读的表(它们实际上可看作为视图,因此并没有与之关联的文件,你也无法为它们创建触发器)。
cube.js 通过require 加载schema
很多时候我们需要开发自己的dremio 扩展(jdbc arp 扩展,存储扩展,格式扩展),dremio 代码相对是比较多的学习起来还是不好弄的,但是我们可以结合一些工具简化我们代码的问题
maestro 英文翻译是大师,dremio 中的 maestro 主要进行服务的执行(提供一个执行抽象,实际具体执行是由command pool 操作的dremio 也还包含了一个独立的maestro 的rpc 定义
DatasetListingService 从功能上来说主要是处理dremio 集群节点访问datasets 的处理,默认基于namespace 的只能协调节点访问,CatalogService 就依赖DatasetListingService
dremio 外部反射的意思是,反射的数据是在外部存储中,而不是由dremio 自己生成的,典型的场景是我们自己已经包含了物化的数据 而且我们想直接使用物化的数据
dremio 分布式存储以及云存储缓存简单说明
cube.js 动态schema 编译处理
dremio 升级的一个实践
cube.js playground暴露的几个不错的功能
文章
25746
阅读量
3139489
2024-06-06 08:24:01
2024-05-24 09:32:43
2024-05-24 09:32:43
2024-05-24 07:47:12
2024-05-21 08:01:24
2024-05-21 07:53:51
2023-04-11 10:47:12
2023-04-18 14:14:34
2023-04-06 09:56:40
2023-07-20 06:06:44
2023-07-24 09:37:08
2024-05-14 08:53:33