searchusermenu
  • 发布文章
  • 消息中心
郭逸豪
3 文章|0 获赞|0 粉丝|599 浏览
社区专栏视频问答关注
全部文章Ta的评论
  • 本文基于vllm框架,解读PagedAttention的实现过程。
    郭逸豪
    2024-09-29
    14
    0
  • 本文对vllm框架进行解析梳理,分别梳理Scheduler、BlockManager、Worker模块,以及昇腾适配,调用atb_llm模型库实现昇腾推理加速。
    郭逸豪
    2024-09-06
    490
    0
  • 把普通 PyTorch 模型转一个这样的 TorchScript 模型,有跟踪(trace)和记录(script)两种导出计算图的方法。 跟踪法只能通过实际运行一遍模型的方法导出模型的静态图,即无法识别出模型中的控制流(如循环);记录法则能通过解析模型来正确记录所有的控制流。
    郭逸豪
    2023-05-31
    95
    0
个人简介
暂未填写公司和职务
暂未填写个人简介
暂未填写技能专长
暂未填写毕业院校和专业
个人成就
共发表过 3 篇文章
文章获得 0 次赞同
文章被浏览 599 次
获得 0 人关注
个人荣誉查看规则
暂未获得荣誉