V2EX / 2026-11-02

[开源软件] 开源了一个 1600 行的大模型推理引擎，能跑真实模型，测试场景吞吐超过 vLLM

想入门大模型推理，直接读 vLLM 太重。所以开源了 LiteMoE：约 1600 行 Python ，能跑真实的 Granite 模型，一个下午能读完主线。 适合想快速上手推理的同学： 交互演示，逐步看一次真实推理： https://zhulinsen.github.io/LiteMoE/visualizer/?lang=zh 教程，从 KV Cache 、MoE 讲到 DeepSeek 、Kimi 、Qwen 的新设计： https://github.com/ZhuLinsen/LiteMoE/blob/main/docs/tutorial.zh-CN.md 固定批次的测试场景下，吞吐是 vLLM 的 105 ～ 109%，脚本可复现。算子用的是 vLLM 的，提升来自算子外的执行层。定位是学习和实验，上线还是用 vLLM 。 如果大家感兴趣，后面会继续做多卡、CPU 版本系列。 项目： https://github.com/ZhuLinsen/LiteMoE 演示： https://zhulinsen.github.io/LiteMoE/visualizer/?lang=zh