天翼云dremio知识文档专栏是天翼云为开发者提供的互联网技术内容平台。内容涵盖dremio相关内容资讯。开发者在dremio专栏是可以快速获取到自己感兴趣的技术内容,与其他开发者们学习交流,共同成长。
很多时候我们需要开发自己的dremio 扩展(jdbc arp 扩展,存储扩展,格式扩展),dremio 代码相对是比较多的学习起来还是不好弄的,但是我们可以结合一些工具简化我们代码的问题
maestro 英文翻译是大师,dremio 中的 maestro 主要进行服务的执行(提供一个执行抽象,实际具体执行是由command pool 操作的dremio 也还包含了一个独立的maestro 的rpc 定义
DatasetListingService 从功能上来说主要是处理dremio 集群节点访问datasets 的处理,默认基于namespace 的只能协调节点访问,CatalogService 就依赖DatasetListingService
dremio 外部反射的意思是,反射的数据是在外部存储中,而不是由dremio 自己生成的,典型的场景是我们自己已经包含了物化的数据 而且我们想直接使用物化的数据
dremio 分布式存储以及云存储缓存简单说明
dremio 升级的一个实践
dremio 外部查询
dremio kernel 一些隐藏的配置
dremio 学习一 简单了解
主要介绍关于创建相关的操作(比如table,发射,虚拟表)
将dremio 串联到dremio 可以扩展dremio 的能力提供一种联邦的能力,扩展数据查询以及数据虚拟层的能力
尽管dremio 的社区版没有提供rbac 以及权限管理的模块能力,但是我们通过官方文档还是可以学到不少东西的,同时也有助于我们可以自己的认证授权模块
dremio 多集群共享zk 配置有些问题,官方说明不是很明确,而且从运行测试会有一些问题,以下是一个整理
默认dremio 对于添加的数据源进行cache,而且缓存的时间比较长,对于经常变动的数据源就有点不是很方便了,但是我么可以通过替他模式解决
dremio 学习三 集群部署说明
元数据存储主要包含了用户,空间,数据几的配置,默认存在在/data 目录,但是我们也可以进行配置,对于一个ha 的环境,我们需要使用nas 存储
一个简单的测试,不算是ha (ha 后边会介绍使用)
基于云的基于独立部署,生产环境不建议使用独立模式(推荐基于集群模式),云环境的模式就不说了,主要说明关于独立环境的部署
目前来说dremio JdbcStoragePlugin 是没有开源的如果需要学习就需要通过反编译的手段,目前来说参考类图从下图可以看出jdbcstorageplugin 也是依赖storageplugin开发的,扩展了SupportsLi
dremio 集群部署模式 主要说明关于标准集群模式参考架构图独立模式 自定义节点注意ha 模式,需要依赖外部zk集群,外部共享存储,元数据共享存储(nas) 元数据存储,推荐的是告诉读写,低延迟,支持锁(nfs 推荐使用hard 模式
2023-04-23 09:33:11
2023-04-11 10:47:12
2023-04-18 14:14:34
2023-05-31 08:48:11
2023-07-24 09:37:08
2024-05-14 09:35:35