修改DagScheuler源码
步骤一: schedule_running_job 调整成了并行执行,原来10个任务每个10秒就是100秒,现在一起跑20秒左右
步骤二:然后就是批量启动任务,因为一个schedule循环 需要二三十秒,而一个任务也就1分钟左右,最多也就能维持4个并发
修改后达到预期效果:
步骤一: schedule_running_job 调整成了并行执行,原来10个任务每个10秒就是100秒,现在一起跑20秒左右
步骤二:然后就是批量启动任务,因为一个schedule循环 需要二三十秒,而一个任务也就1分钟左右,最多也就能维持4个并发
修改后达到预期效果:
版权声明:本文内容系天翼云实名用户自发贡献,版权归原作者所有,天翼云开发者社区不拥有其著作权,亦不承担相应法律责任,未经许可,不得转载。
如有疑问或争议,请联系ctyunbbs@chinatelecom.cn删除。
步骤一: schedule_running_job 调整成了并行执行,原来10个任务每个10秒就是100秒,现在一起跑20秒左右
步骤二:然后就是批量启动任务,因为一个schedule循环 需要二三十秒,而一个任务也就1分钟左右,最多也就能维持4个并发
修改后达到预期效果:
版权声明:本文内容系天翼云实名用户自发贡献,版权归原作者所有,天翼云开发者社区不拥有其著作权,亦不承担相应法律责任,未经许可,不得转载。
如有疑问或争议,请联系ctyunbbs@chinatelecom.cn删除。