全部文章Ta的评论
- SharedQueue是用来完成数据重分布的数据结构,它具有如下特点: •一生产者多消费者的共享队列 •第一个绑定sq的进程成为生产者进程,后面绑定的进程都是消费者进程 •由cursor(SharedQueue name)来区分,发生重分布时,每个datanode上面都会有一个同名的SharedQueue •生产者Bind sq后创建发送线程,并为每个消费者创建一个缓冲区DataPumpBuf •生产者负责生成数据,发送线程来负责发送数据 •每个线程负责部分dn消费者,生产者把数据放到缓冲区中,当缓冲区中数据大于一个阈值时,线程会将缓冲区中数据发送,当内存不够大的时候,会使用文件存储数据西格玛2024-10-25100
- 西格玛2024-09-23100
共 2 条
- 1
页
没有更多了
个人简介
暂未填写公司和职务
暂未填写个人简介
暂未填写技能专长
暂未填写毕业院校和专业
个人成就
共发表过 2 篇文章
文章获得 0 次赞同
文章被浏览 20 次
获得 0 人关注
个人荣誉查看规则
暂未获得荣誉