11月5日消息，加速近日，替代摩尔线程上线了大语言模型高速推理框架开源项目vLLM的线程MUSA移植版本，为开发者提供基于摩尔线程全功能GPU进行开源项目MUSA移植的开源范例。

摩尔线程表示，加速正努力围绕自主研发的替代统一系统架构GPU、MUSA软件平台，线程构建完善好用的开源MUSA应用生态。 

vLLM是加速一个高效且易用的大模型推理和服务框架，支持创新的替代PagedAttention内存管理、连续批处理请求、线程CUDA/HIP图的开源快速模型执行、CUDA核心优化、加速分布式推理支持等，替代可显著提高大语言模型（LLM）的线程推理性能。

目前，vLLM已在各种大语言模型中得到广泛应用，成为业界常用的开源大模型推理框架。

摩尔线程基于vLLM v0.4.2版本，进行了移植适配，使之支持摩尔线程GPU后端Device，并完全开源，开发者可以二次开发、升级vLLM到社区更新版本等。

值得一提的是，得益于摩尔线程MUSA架构的先进性、软件栈对CUDA的优良兼容性，通过MUSIFY代码自动转换工具，用户可以快捷地将原有的CUDA代码迁移到MUSA平台，实现替代。

同时，CUDA相关库的调用，也可以快速替换为相应的MUSA加速库，如算子库muDNN、集合通信库MCCL、线性代数库muBLAS等。

摩尔线程通过MUSA软件栈对CUDA软件栈接口兼容，大幅提升了应用移植的效率，缩短了开发周期，还提供MUSIFY自动代码移植工具等一系列实用工具和脚本。

摩尔线程vLLM-MUSA开源地址：

https://github.com/MooreThreads/vLLM_musa

• ·前面去shen直播间问了句
• ·英超前锋压迫次数：索兰克居首，努涅斯、齐尔克泽、杰克逊上榜
• ·一加Ace 5真机照出炉：直屏+陶瓷机身 同档唯一
• ·伤缺445天回归！维拉后卫明斯：一度认为我无法从伤病中恢复
• ·官方通报可可西里网红狼死亡事件：属实 无法判断是否为“初代目”
• ·德国队新一期名单：哈弗茨、特狮在列，格雷茨卡、格纳布里落选
• ·💥穆帅回击瓜帅言论：他6座英超而我3座，但是我赢得公平、干净
• ·💥穆帅回击瓜帅言论：他6座英超而我3座，但是我赢得公平、干净
• ·👍三观正！利拉德此前名言：NBA球员抱怨压力大是在侮辱普通人
• ·总是忍不住吃吃吃 真不怪你管不住嘴：可能是身体这个地方坏了
• ·Embracer财报：第二季度PC和主机游戏销量大幅下滑
• ·中国首款！蔚来ET9线控转向技术获工信部量产许可
• ·心碎！💎克莱前女友劳拉官宣订婚 克莱只剩狗子Rocco🐶
• ·意媒：博维尚未确定植入除颤器，但球员似乎已同意这一方案
• ·REDMI K80系列首销破100万台！王腾上产线帮忙打包
• ·[流言板]不遑多让！昨日布朗尼砍生涯新高16分，今日崔永熙砍下14分