searchusermenu
  • 发布文章
  • 消息中心
点赞
收藏
评论
分享
原创

Fate-Flow异步调度问题解决

2024-09-27 09:20:49
4
0

修改DagScheuler源码

步骤一: schedule_running_job 调整成了并行执行,原来10个任务每个10秒就是100秒,现在一起跑20秒左右

image.png

image.png

步骤二:然后就是批量启动任务,因为一个schedule循环 需要二三十秒,而一个任务也就1分钟左右,最多也就能维持4个并发
image.png

修改后达到预期效果:
image.png

0条评论
作者已关闭评论
AndyXiong
4文章数
0粉丝数
AndyXiong
4 文章 | 0 粉丝
AndyXiong
4文章数
0粉丝数
AndyXiong
4 文章 | 0 粉丝
原创

Fate-Flow异步调度问题解决

2024-09-27 09:20:49
4
0

修改DagScheuler源码

步骤一: schedule_running_job 调整成了并行执行,原来10个任务每个10秒就是100秒,现在一起跑20秒左右

image.png

image.png

步骤二:然后就是批量启动任务,因为一个schedule循环 需要二三十秒,而一个任务也就1分钟左右,最多也就能维持4个并发
image.png

修改后达到预期效果:
image.png

文章来自个人专栏
联邦学习调度问题
1 文章 | 1 订阅
0条评论
作者已关闭评论
作者已关闭评论
0
0