Mixture of experts

最近完整七日的证据

来源提及

6

前七日 5

不同来源

3

前期 2

可比较增长

不可比较

榜单记录

0

采集观测与无发布日期的记录，和有日期的原文提及分别统计。 七日观测：8 · 无日期记录：1

每日趋势 · 最多 90 天

柱形表示有日期的来源提及。最新 UTC 日可能尚未结束。零提及和缺少采集覆盖是不同情况。

虚线标记表示当日无记录，不作为零提及统计。

来源证据

当前展示证据的来源：HF Daily Papers 2 · arXiv 6 · V2EX 2 · GitHub Trending 1 · GitHub Issues 3 · GitHub Releases 5 · Hugging Face 1 · Hacker News 1

1. HF Daily Papers · 原文发布 2026年11月4日

   UniRestorer++: Scalable Universal Image Restoration with Multi-Granularity Degradation Modeling

   Universal image restoration aims to handle diverse degradations within a single model, but a reliable scaling strategy remains underexplored. Increasing backbone depth and width can lead to performance saturation, while degradation-aware specialization depends on accurate degradation estimation and is vulnerable to errors on out-of-distribution and real-worl

2. arXiv · 原文发布 2026年11月4日

   HybridSpec: Throughput-Aware Speculative Decoding for Hybrid GDN-MoE Models

   arXiv:2611.04055v1 Announce Type: new Abstract: In speculative decoding, parallel drafters such as DFlash make drafting cheap, so target verification dominates each round. A central choice is the verification length, the number of tokens that the target processes in each round. Verifying more draft tokens can accept more of them, but work after the first rej

   查看来源记录 →

3. V2EX · 原文发布 2026年11月2日

   [开源软件] 开源了一个 1600 行的大模型推理引擎，能跑真实模型，测试场景吞吐超过 vLLM

   想入门大模型推理，直接读 vLLM 太重。所以开源了 LiteMoE：约 1600 行 Python ，能跑真实的 Granite 模型，一个下午能读完主线。 适合想快速上手推理的同学： 交互演示，逐步看一次真实推理： https://zhulinsen.github.io/LiteMoE/visualizer/?lang=zh 教程，从 KV Cache 、MoE 讲到 DeepSeek 、Kimi 、Qwen 的新设计： https://github.com/ZhuLinsen/LiteMoE/blob/main/docs/tutorial.zh-CN.md 固定批次的测试场景下，吞吐是 vLLM 的 105 ～ 109%，脚本可复现。算子用的是 vLLM 的，提升来自算子外的执行层。定位是学习和实验，上线

   查看来源记录 →

4. GitHub Trending · 原文发布 未提供

   JustVugg/colibri

   A hierarchical inference engine for frontier MoE models: hot experts on the GPU (CUDA, Vulkan), warm ones in RAM, cold ones streamed from NVMe. Written in C, runs on the hardware you already own.

   查看来源记录 →

5. GitHub Issues · 原文发布 2026年11月1日

   [Doge] `DogeCDMoE` router `.view(2, bsz * seq_len, -1)` mixes tokens: with `is_moe=True`, logits depend on future tokens and on other sequences in the batch

   查看来源记录 →

6. arXiv · 原文发布 2026年10月31日

   LRMoE: Demand-Side Load Re-Calibration for Efficient MoE Training on Memory-Constrained Nodes

   arXiv:2610.37720v1 Announce Type: new Abstract: Sparse Mixture-of-Experts (MoE) models offer scalable capacity for Web applications, but uneven routing creates computation and communication bottlenecks. Existing placement and replication methods redistribute this workload, yet additional expert copies compete with token-related buffers for limited GPU memory

   查看来源记录 →

7. GitHub Releases · 原文发布 2026年10月29日

   v5.22.0: Mistral Large 4 (Le Chonk)

   New Models Mistral Large 4 (Le Chonk) Mistral Large 4 is Mistral's largest and most capable model to date: a 1 trillion-parameter natively multimodal Mixture-of-Experts model with 49 billion active parameters per token (52 billion including embeddings and output layers), trained from scratch on 3,800 NVIDIA Grace Blackwell GPUs in Mistral's own datacenters i

   查看来源记录 →

8. HF Daily Papers · 原文发布 2026年10月27日

   Muon Makes the First Mixture-of-Experts Layer Harder to Balance

   Many open mixture-of-experts (MoE) language models train with Muon instead of AdamW. Most balance the load with a bias on each expert's routing score, adjusted after every step. Their recipes disagree on whether Muon should also train the router. In models with 55M and 108M active parameters, we measure how the optimizer changes the span of these biases, the

9. GitHub Releases · 原文发布 2026年10月26日

   Release: v5.21.0

   Release v5.21.0 New Model additions MiniCPM-OCR MiniCPM-OCR is a document-understanding model from OpenBMB's MiniCPM-V family. It keeps the MiniCPM-V 4.6 architecture, which pairs a SigLIP vision encoder and a window-attention merger with a Qwen3.5 language model. It is specialized for reading text-dense images such as scanned pages, screenshots, receipts an

   查看来源记录 →

10. arXiv · 原文发布 2026年10月26日

    Kolibri: A Sovereign European Model on the Pareto Frontier

    arXiv:2610.31945v1 Announce Type: new Abstract: This report introduces Kolibri, an English-German mixture-of-experts transformer with 78.1B total parameters and 3.46B active parameters per token, released as open weights under the Apache 2.0 licence. We built Kolibri for sovereign and specialised deployment, with a particular focus on German and on regulated

    查看来源记录 →

11. arXiv · 原文发布 2026年10月26日

    EDWARD-NMT: Elastic Dimensions With Adaptive Routing and Dual-consistency for Neural Machine Translation

    arXiv:2610.32115v1 Announce Type: new Abstract: Sparse Mixture-of-Experts (MoE) is a powerful paradigm for scaling Neural Machine Translation (NMT) and managing language heterogeneity. However, practical limitations hinder its deployment on resource-constrained devices: the entire expert pool must remain in memory, and the per-token compute budget is statica

    查看来源记录 →

12. GitHub Issues · 原文发布 2026年10月22日

    DiffusionGemma: generated text changes with batch size (MoE router projection and self-conditioning matmul)

    查看来源记录 →

13. arXiv · 原文发布 2026年10月21日

    Mixture of Phonetic Experts Based Low-Rank Adaptation of Conformer Models for Accented English Speech Recognition

    arXiv:2610.26888v1 Announce Type: new Abstract: We present Mixture of Phonetic Experts based Low-Rank Adaptation (MoPE-LoRA), a parameter-efficient adaptation framework for accented English speech recognition. Recent mixture-of-experts approaches typically allocate experts per accent, implicitly treating accent identity as the primary axis of variation. In c

    查看来源记录 →

14. GitHub Issues · 原文发布 2026年10月19日

    [Bug] Qwen3-MoE router auxiliary loss is multiplied by the DDP world size in Trainer

    查看来源记录 →

15. arXiv · 原文发布 2026年10月19日

    Where Prefill Expert Reduction Hurts MoE Models: A Few Prompt Tokens Carry Most of the Short-Answer F1 Loss

    查看来源记录 →

16. GitHub Releases · 原文发布 2026年10月15日

    Release v5.20.0

    Release v5.20.0 New Model additions Muse Spark Open Muse Spark Open is a multimodal mixture-of-experts model from Meta that takes text, images, audio, and video as input and generates text. It has 816B total parameters (42B active per token) and a context window of up to 1,048,576 tokens shared across modalities. It is trained for agentic coding tasks such a

    查看来源记录 →

17. Hugging Face · 原文发布 2026年10月15日

    Welcome Muse Spark Open: open-weight frontier multimodal mixture-of-experts model from Meta

    查看来源记录 →

18. Hacker News · 原文发布 2026年10月13日

    Nvidia Nemotron 3.5 Bolt: open 74B MoE for local agents on RTX Spark

    查看来源记录 →

19. V2EX · 原文发布 2026年10月13日

    [推广] Moe - MCP 文字动画服务 送 Pro

    查看来源记录 →

20. GitHub Releases · 原文发布 2026年9月10日

    Release 5.17.0

    Release v5.17.0 New Model additions HYV4 Hy4-Preview is a 780B-parameter mixture-of-experts language model that activates 49B parameters per token. Each MoE layer holds 256 routed experts plus one always-active shared expert and routes every token to 8 of them. The context window is 1M tokens. The architecture combines four features: Multi-head Latent Attent

    查看来源记录 →

21. GitHub Releases · 原文发布 2026年8月26日

    Release: v5.16.0

    Release v5.16.0 New Model additions Qwen4-Exp Qwen4-Exp builds on Qwen3.5's hybrid text and multimodal architecture with three key components: GatedResidual (GR), Qwen Sparse Attention (QSA), and Per-Layer Embedding (PLE). GR is a Qwen-developed residual architecture that combines Hyper-Connection with GatedNorm. It mixes multiple residual streams with fine-

    查看来源记录 →

研究优先级 74 / 100

此分数用于排列研究候选，不是搜索量、预测结果或经过验证的商业需求。

• 证据数量

  25.4 / 30

  去重文章或首次观测；重复抓取不加分。

• 发布主体多样性

  24 / 25

  同主体保守归并，转载不增加独立证据。

• 可比变化

  0 / 20

  仅完整且可比的两周参与；零基线不计算百分比。

• 证据时效

  15 / 15

  依据最新发布或首次观测，不按重复采集时间刷新。

• 名称明确度

  9.7 / 10

  明确实体链接和技术概念优先于含义不明的缩写。

局限与解读

• 首次观测是采集记录的起点，不能证明词语或产品在全球首次出现。
• 计数仅代表已监测的公开来源，不代表全网热度或搜索需求。
• 本站首次发现时间不等于名称或概念的诞生时间。
• 候选来自公开标题、摘要和实体链接，并非已核实的全文分析。
• 来源多样性采用保守归并；未披露的转载或共同所有权仍可能无法识别。
• 无发布日期的观测单列，不用于判断发布量增长。
• 重复上榜是观测记录，不是新增文章或独立背书。
• 已有概念或常见产品名，仅保留为历史基线，不视为新创造的词。
• 两周均需足够且可比较的采集覆盖，才判断增长。
• 该词的来源构成发生变化，或缺少可比较的基线。
• 近期证据包含发布三天后才采集的内容，暂不据此判断增长。