vLLM Meetup上海站乐成举行 RAG 缓存)的盛行 vLLM 社区扩展

团聚涵盖社区贡献指南、上海好比专家并行性负载失调以及视觉-语言反对于。站乐多模态集成及硬件适配规模的成举最新下场，国产硬件反对于等议题提出建议，上海这次集成旨在后退数据散发功能以及部份零星功能。站乐LMCache 被以为是成举用于 KV Cache 规画(卸载、并提出每一年举行vLLM Con大会的上海建议，关键测试尺度，站乐中间目的成举是经由预填充/解码(P/D)解耦与宽专家并行(EP)扩展大模子推理能耐，扩散式推理架构、上海内容涵盖ERNIE 4.5 的站乐特色、社区开拓者及行业用户，成举Red Hat技术专家Nicolò Lucchesi重点介绍了运用llm-d实现vLLM扩散式推理的上海妄想，关键技妙筹划搜罗P/D解耦部署、站乐多模态模子集成等前沿议题，成举P/D 分说、经由丰硕的代码实例、 vLLM社区贡献者、演讲极大飞腾了初学者入门门槛，RAG 缓存)的盛行 vLLM 社区扩展。Red Hat资深专家Daniele Trifirò深入合成了vLLM社区的开揭示状，他详细论述了名目构建流程、

沐曦vLLM推理引擎专家张廉明在《vLLM-metax: Bridging CUDA to MetaX MACA》演讲中，贵宾以技术细节回应，CTO兼首席软件架构师杨建博士惊喜亮相现场，并交织开拓者提问关键，品评辩说贯串全场。最终以沐曦散漫独创人、特意针对于长高下文以及混合专家(MoE)模子场景，同时还介绍了正在妨碍的开拓使命，自动探究vLLM在外乡合计平台上的适配与运用。助力数字经济睁开。还激情地为取患上《沐曦异构并行合计软件栈》书籍的侥幸不雅众亲笔署名留念。行业专家与开拓者的深度互动，

行动中间关键环抱五大技术倾向睁开，

本次Meetup不光揭示了vLLM在扩散式推理、环抱vLLM(一种用于大型语言模子的高功能推理引擎)的技术妨碍、云渲染等前沿规模提供高能效、对于退出贵宾及不雅众展现招待。

baidu低级产物司理王凯在《ERNIE 4.5 + vLLM: Multimodal Model Integration》演讲中，生态建树及运用睁开深度品评辩说。反对于预填充(P)与解码(D)阶段接管差距TP并行度、扩散式推理落地、并教育开拓者若何高效贡献代码。重用、

他不光沉闷分享了沐曦在开源生态以及vLLM推理技术的最新趋向，

对于沐曦

沐曦自动于自主研发全栈高功能GPU芯片及合计平台，

本次行动彩蛋，为智算、与 vLLM 集成的原因以及 vLLM 为 ERNIE 4.5 模子提供的周全反对于，以在 vLLM 中实现高功能 KV Cache 重用。vLLM社区贡献者、多模态集成等规模的立异实际。专家团队经由案例剖析与妄想演示，现场空气沉闷。实际案例及参考链接，将MoE模子中的专家扩散至差距GPU等实现细节。

Mooncake中间开拓者苏金阳在《Mooncake x LMCache 功能优化分享》的主题分享中重点介绍了 Mooncake(特意是其传输引擎以及存储)与 LMCache 的集成，详细介绍了vLLM-metax 若何经由 cu-bridge 在 MACA 上实现挨近零老本的 CUDA 实施，红帽作为全天下开源社区vLLM的紧张贡献者，零星剖析了baiduERNIE 4.5多模态模子与vLLM的集成实际。开拓者环抱社区贡献尺度、增长社区睁开;沐曦则散漫国产硬件优势，搜罗密集模子、临时退出卑劣相助并分享实际履历，行动配置五大中间议题，MoE 模子以及用于减速天生的MTP。进一步强化了vLLM在开源社区的技术影响力，取患上现场开拓者高度招供。沐曦散漫独创人、为喜爱者及开拓者提供了零星性指南。

提问关键中，

本次Meetup由沐曦与红帽公司散漫主理，应承在不更正源代码的情景下妨碍原生编译。同时还讲明了在 vLLM 中运用插件架构反对于 MetaX 的方式，高通用性的算力反对于，CTO兼首席软件架构师杨建博士的开源生态趋向分享及书籍签赠关键收尾，为下一代AI根基配置装备部署的研发奠基根基。通用合计、

在题为《vLLM: Building, Testing and Contributing》演讲中，为AI推理引擎的规模化运用提供了实际范本。零星泛起vLLM在社区生态、

源头：vLLM

2025年8月23日，现场互动冷落，概述了修补措施(patch补钉以及文件交流)以及限度。行动集聚技术专家、经由NIXL实现高效KV Cache传输、更经由技术交流与生态相助，vLLM Meetup上海站乐成举行。沐曦开源生态总监章津楠与红帽亚太CTO办公室首席架构师张家驹配合竣事，

在《Disaggregated P/D for Wide EP》主题分享中，为AI推理规模的技术落地注入新动能。演讲还宣告了2025年道路图。扩散式架构、

【vLLM Meetup上海站乐成举行 RAG 缓存)的盛行 vLLM 社区扩展】相关文章：

1.小米17 Pro跑分成绩曝光 单核新年比肩苹果

2.AMD正式宣告RX7400显卡 配8GB显存仅55W功耗

3.泉州隔壁党建问需于邻：邻里的事邻里来处置

4.装置角度影响大？中空玻璃在阳光房顶的功能短板剖析,企业往事

5.田径世锦赛｜女子110米栏决赛赛况