Sparse attention
名称变体 稀疏注意力
Speculative decoding (SD) accelerates large language model inference by reducing the sequential cost of token-by-token generation. Advanced SD methods reduce proposal cost with parallel drafters that predict entire blocks in one forward pass, but overall speedup still depends on acceptance length. On-policy distillation (OPD) can push well-trained drafters b
此处说明来自所引来源记录。收藏会在本设备创建书签，不会自动同步到账户。
- 本站首次观测
- 2026年10月9日 15:45 UTC
- 引用原文最早发布
- 2026年8月26日 15:03 UTC
- 最近观测
- 2026年11月5日 15:41 UTC
最近完整七日的证据
- 来源提及
- 1 前七日 2
- 不同来源
- 1 前期 1
- 可比较增长
- 不可比较
- 榜单记录
- 0
采集观测与无发布日期的记录，和有日期的原文提及分别统计。 七日观测：0 · 无日期记录：0
采集覆盖 · 历史不足本期 / 前期观测天数 7 / 3
统计使用完整 UTC 日。“首次观测”指本站首次收录，不代表词语的诞生时间。
本期窗口：2026-10-29 → 2026-11-05 （不含结束日） · 历史跨度 11 天
| 来源 | 本期天数 | 前期天数 | 最近成功采集 |
|---|---|---|---|
| arXiv | 6 | 3 | 2026年11月5日 10:00 UTC |
| arXiv | 7 | 2 | 2026年11月5日 10:01 UTC |
| Ask HN | 7 | 3 | 2026年11月5日 15:00 UTC |
| Ask HN | 7 | 3 | 2026年11月5日 14:30 UTC |
| Ask HN | 7 | 3 | 2026年11月5日 15:00 UTC |
| Ask HN | 7 | 3 | 2026年11月5日 15:00 UTC |
| GitHub | 7 | 3 | 2026年11月5日 12:15 UTC |
| GitHub Issues | 7 | 3 | 2026年11月5日 10:01 UTC |
| GitHub Releases | 7 | 1 | 2026年11月5日 12:00 UTC |
| GitHub | 7 | 3 | 2026年11月5日 14:30 UTC |
| GitHub Issues | 7 | 3 | 2026年11月5日 10:01 UTC |
| GitHub Releases | 7 | 3 | 2026年11月5日 15:14 UTC |
| GitHub | 7 | 3 | 2026年11月5日 14:30 UTC |
| GitHub Issues | 7 | 3 | 2026年11月5日 10:01 UTC |
| GitHub Releases | 7 | 3 | 2026年11月5日 15:14 UTC |
| GitHub Discovery | 0 | 0 | 2026年11月5日 15:13 UTC |
| GitHub Trending | 7 | 3 | 2026年11月5日 15:14 UTC |
| 7 | 2 | 2026年11月5日 10:00 UTC | |
| Hugging Face | 7 | 2 | 2026年11月5日 08:15 UTC |
| Hugging Face Spaces | 0 | 0 | 2026年11月5日 15:13 UTC |
| Hacker News | 7 | 3 | 2026年11月5日 12:45 UTC |
| Hacker News | 7 | 3 | 2026年11月5日 15:30 UTC |
| Hacker News | 7 | 3 | 2026年11月5日 15:30 UTC |
| Hacker News | 0 | 0 | 2026年11月5日 15:13 UTC |
| Show HN | 0 | 0 | 2026年11月5日 15:13 UTC |
| MIT News | 7 | 2 | 2026年11月5日 10:01 UTC |
| OpenAI | 7 | 3 | 2026年11月5日 11:30 UTC |
| Product Hunt | 7 | 3 | 2026年11月5日 12:45 UTC |
| 量子位 | 7 | 3 | 2026年11月4日 10:15 UTC |
| OpenRouter | 0 | 0 | 2026年11月5日 15:41 UTC |
| Hugging Face Models | 0 | 0 | 2026年11月5日 15:41 UTC |
| HF Daily Papers | 0 | 0 | 2026年11月5日 15:41 UTC |
| OpenRouter | 0 | 0 | 2026年11月5日 15:41 UTC |
| SEC EDGAR | 7 | 3 | 2026年11月5日 10:30 UTC |
| Sequoia Capital | 7 | 2 | 2026年11月5日 10:00 UTC |
| Simon Willison | 0 | 0 | 2026年11月5日 15:13 UTC |
| TechCrunch | 7 | 3 | 2026年11月5日 14:30 UTC |
| Contracts Finder | 7 | 3 | 2026年11月5日 10:00 UTC |
| V2EX | 7 | 3 | 2026年11月5日 14:30 UTC |
- 计数仅代表已监测的公开来源，不代表全网热度或搜索需求。
- 两周均需足够且可比较的采集覆盖，才判断增长。
每日趋势 · 最多 90 天
柱形表示有日期的来源提及。最新 UTC 日可能尚未结束。零提及和缺少采集覆盖是不同情况。
虚线标记表示当日无记录，不作为零提及统计。
查看每日数据表
| UTC 日期 | 提及 | 来源 | 观测 | 榜单记录 |
|---|---|---|---|---|
| 2026-08-26 | 1 | 1 | 0 | 0 |
| 2026-08-27 · 无记录 | — | — | — | — |
| 2026-08-28 · 无记录 | — | — | — | — |
| 2026-08-29 · 无记录 | — | — | — | — |
| 2026-08-30 · 无记录 | — | — | — | — |
| 2026-08-31 · 无记录 | — | — | — | — |
| 2026-09-01 · 无记录 | — | — | — | — |
| 2026-09-02 · 无记录 | — | — | — | — |
| 2026-09-03 · 无记录 | — | — | — | — |
| 2026-09-04 · 无记录 | — | — | — | — |
| 2026-09-05 · 无记录 | — | — | — | — |
| 2026-09-06 · 无记录 | — | — | — | — |
| 2026-09-07 · 无记录 | — | — | — | — |
| 2026-09-08 · 无记录 | — | — | — | — |
| 2026-09-09 · 无记录 | — | — | — | — |
| 2026-09-10 · 无记录 | — | — | — | — |
| 2026-09-11 · 无记录 | — | — | — | — |
| 2026-09-12 · 无记录 | — | — | — | — |
| 2026-09-13 · 无记录 | — | — | — | — |
| 2026-09-14 · 无记录 | — | — | — | — |
| 2026-09-15 · 无记录 | — | — | — | — |
| 2026-09-16 · 无记录 | — | — | — | — |
| 2026-09-17 · 无记录 | — | — | — | — |
| 2026-09-18 · 无记录 | — | — | — | — |
| 2026-09-19 · 无记录 | — | — | — | — |
| 2026-09-20 · 无记录 | — | — | — | — |
| 2026-09-21 · 无记录 | — | — | — | — |
| 2026-09-22 · 无记录 | — | — | — | — |
| 2026-09-23 · 无记录 | — | — | — | — |
| 2026-09-24 · 无记录 | — | — | — | — |
| 2026-09-25 · 无记录 | — | — | — | — |
| 2026-09-26 · 无记录 | — | — | — | — |
| 2026-09-27 · 无记录 | — | — | — | — |
| 2026-09-28 · 无记录 | — | — | — | — |
| 2026-09-29 · 无记录 | — | — | — | — |
| 2026-09-30 · 无记录 | — | — | — | — |
| 2026-10-01 · 无记录 | — | — | — | — |
| 2026-10-02 · 无记录 | — | — | — | — |
| 2026-10-03 · 无记录 | — | — | — | — |
| 2026-10-04 · 无记录 | — | — | — | — |
| 2026-10-05 · 无记录 | — | — | — | — |
| 2026-10-06 · 无记录 | — | — | — | — |
| 2026-10-07 · 无记录 | — | — | — | — |
| 2026-10-08 · 无记录 | — | — | — | — |
| 2026-10-09 | 1 | 1 | 1 | 0 |
| 2026-10-10 | 0 | 0 | 1 | 0 |
| 2026-10-11 · 无记录 | — | — | — | — |
| 2026-10-12 · 无记录 | — | — | — | — |
| 2026-10-13 · 无记录 | — | — | — | — |
| 2026-10-14 · 无记录 | — | — | — | — |
| 2026-10-15 | 1 | 1 | 0 | 0 |
| 2026-10-16 | 0 | 0 | 1 | 0 |
| 2026-10-17 · 无记录 | — | — | — | — |
| 2026-10-18 · 无记录 | — | — | — | — |
| 2026-10-19 · 无记录 | — | — | — | — |
| 2026-10-20 · 无记录 | — | — | — | — |
| 2026-10-21 · 无记录 | — | — | — | — |
| 2026-10-22 | 0 | 0 | 0 | 0 |
| 2026-10-23 | 0 | 0 | 0 | 0 |
| 2026-10-24 | 0 | 0 | 0 | 0 |
| 2026-10-25 | 0 | 0 | 0 | 0 |
| 2026-10-26 | 1 | 1 | 2 | 0 |
| 2026-10-27 | 1 | 1 | 0 | 0 |
| 2026-10-28 | 0 | 0 | 0 | 0 |
| 2026-10-29 | 0 | 0 | 0 | 0 |
| 2026-10-30 | 0 | 0 | 0 | 0 |
| 2026-10-31 | 0 | 0 | 0 | 0 |
| 2026-11-01 | 0 | 0 | 0 | 0 |
| 2026-11-02 | 1 | 1 | 0 | 0 |
| 2026-11-03 | 0 | 0 | 0 | 0 |
| 2026-11-04 | 0 | 0 | 0 | 0 |
| 2026-11-05 | 0 | 0 | 1 | 1 |
来源证据
当前展示证据的来源：HF Daily Papers 1 · arXiv 4 · GitHub Releases 1
HF Daily Papers · 原文发布 2026年11月2日
SpecOPD: Branch-Parallel On-Policy Distillation for Speculative Decoding
Speculative decoding (SD) accelerates large language model inference by reducing the sequential cost of token-by-token generation. Advanced SD methods reduce proposal cost with parallel drafters that predict entire blocks in one forward pass, but overall speedup still depends on acceptance length. On-policy distillation (OPD) can push well-trained drafters b
arXiv · 原文发布 2026年10月27日
HyScale: Scaling Long-Context Training for Learned Sparse Attention
arXiv:2610.32057v2 Announce Type: new Abstract: We present HyScale, a long-context training system for learned sparse attention. Learned sparse attention is a promising architecture for million-token contexts, widely adopted in production since DeepSeek-V3.2. Selection, however, grows into the training bottleneck. For each query, it scores every previous tok
查看来源记录 →arXiv · 原文发布 2026年10月26日
LazyFlash: Forward-Dense, Backward-Sparse Attention for Accelerated Long-Context Fine-Tuning
arXiv:2610.31911v1 Announce Type: new Abstract: As large language models (LLMs) process increasingly long sequences, attention becomes a major computational bottleneck. Sparse attention mostly targets inference, yet many methods still train densely or cannot support sparse training, and their added complexity makes sparsity hard to turn into wall-clock speed
查看来源记录 →arXiv · 原文发布 2026年10月15日
Joint Subspace Sparse Attention for Efficient Long-Context Decoding
查看来源记录 →arXiv · 原文发布 2026年10月9日
Sparse Attention Is Matrix Approximation, Not Choosing from a Bag of Values
查看来源记录 →GitHub Releases · 原文发布 2026年8月26日
Release: v5.16.0
Release v5.16.0 New Model additions Qwen4-Exp Qwen4-Exp builds on Qwen3.5's hybrid text and multimodal architecture with three key components: GatedResidual (GR), Qwen Sparse Attention (QSA), and Per-Layer Embedding (PLE). GR is a Qwen-developed residual architecture that combines Hyper-Connection with GatedNorm. It mixes multiple residual streams with fine-
查看来源记录 →
研究优先级 41 / 100
此分数用于排列研究候选，不是搜索量、预测结果或经过验证的商业需求。
证据数量
8 / 30去重文章或首次观测；重复抓取不加分。
发布主体多样性
8 / 25同主体保守归并，转载不增加独立证据。
可比变化
0 / 20仅完整且可比的两周参与；零基线不计算百分比。
证据时效
15 / 15依据最新发布或首次观测，不按重复采集时间刷新。
名称明确度
9.7 / 10明确实体链接和技术概念优先于含义不明的缩写。
局限与解读
- 首次观测是采集记录的起点，不能证明词语或产品在全球首次出现。
- 计数仅代表已监测的公开来源，不代表全网热度或搜索需求。
- 本站首次发现时间不等于名称或概念的诞生时间。
- 候选来自公开标题、摘要和实体链接，并非已核实的全文分析。
- 来源多样性采用保守归并；未披露的转载或共同所有权仍可能无法识别。
- 重复上榜是观测记录，不是新增文章或独立背书。
- 已有概念或常见产品名，仅保留为历史基线，不视为新创造的词。
- 两周均需足够且可比较的采集覆盖，才判断增长。
- 该词的来源构成发生变化，或缺少可比较的基线。
- 近期证据包含发布三天后才采集的内容，暂不据此判断增长。
- 当前证据仅来自一个发布主体。