5月11日 周一

1 条

推理引擎·6 天前

ExLlamaV3 连发更新：DFlash 投机解码最高 3 倍加速

ExLlamaV3 在过去一个月密集发布多个版本（v0.0.29–v0.0.33），先后加入 Gemma 4 支持、缓存效率优化、DFlash 投机解码、模型级量化优化及多项 bugfix。DFlash 在代码生成场景下达到 177.67 t/s，相比基线 59.21 t/s 提升 3 倍；在 agentic/curl 场景下也达到 125.94 t/s（2.33x）。最新版本 v0.0.32 针对 Qwen3.5、Trinity-Nano、Gemma4 等模型在 3090/4090/5090/6000 Pro 上做了逐模型优化，Trinity-Nano 在 6000 Pro 上提升高达 72.4%。v0.0.33 进一步加入 DFlash 模型量化支持。所有更新均为向后兼容的增量改进，无 breaking change。

›1 条相关源

5月5日 周二

1 条

工具发布·11 天前

Transformers v5.8.0 发布：原生支持 DeepSeek-V4 与 Gemma 4 投机解码

HuggingFace Transformers 发布 v5.8.0，主要新增 DeepSeek-V4 和 Gemma 4 Assistant 两个模型架构。DeepSeek-V4 是 DeepSeek 的新一代 MoE 模型，架构上弃用 MLA 改用混合局部+长程注意力，将残差连接替换为流形约束超连接（mHC），并在前几层 MoE 使用静态 token-id→expert-id 哈希表做引导。Gemma 4 Assistant 是一个纯文本小模型，专为 Gemma 4 做投机解码（MTP 方法），全模型共享 KV cache，跳过预填充阶段，并引入交叉注意力以利用目标模型的上下文。该版本无已知破坏性变更。

›1 条相关源