昨天 · 5月16日 周六

3 条

推理引擎·17 小时前

llama.cpp b9180 支持 MTP 推测解码与 GDN 部分回滚

llama.cpp 发布 b9180 版本，核心变化是支持 Multi-Token Prediction (MTP) 用于推测解码（speculative decoding）。该版本新增了 draft-mtp 模型标识，允许目标模型在推测解码中回滚至多 draft_max 步，通过存储 GDN（Gated Delta Net）中间状态实现部分序列回滚（partial seq_rm）。Metal 和 Vulkan 后端均已适配 GDN 部分回滚逻辑。同时修复了循环记忆模型中的位检查 bug，并禁用了基于 RS 的 MTP 与其他推测类型的组合使用。

›1 条相关源

推理引擎·17 小时前

Strix Halo 实测：llama.cpp MTP 让 27B 模型生成速度翻倍

Reddit 用户在高性能 APU Strix Halo（AMD Ryzen AI MAX+ 395）上对 llama.cpp 的 MTP（Multi-Token Prediction）功能进行了基准测试。测试使用 Qwen3.6-27B 和 35B-A3B 模型，对比开启与关闭 MTP 时的端到端性能。结果显示，27B 模型在 5 轮对话场景下总耗时从 258.65 秒降至 200.55 秒（-22.46%），生成吞吐从 7.61 t/s 提升至 17.98 t/s（+136%），但 Prompt 处理吞吐下降约 18%。35B 模型则整体持平或略慢，生成速度虽有提升但 Prompt 处理降幅更大，多轮对话总耗时基本持平。MTP 在小模型、长上下文场景下收益显著，但对大模型或短上下文场景收益有限。

›1 条相关源

论文速递·1 天前

δ-mem 提出在线记忆机制，让 LLM 长上下文推理效率提升 3 倍

大模型在处理超长上下文时，KV cache 随序列长度线性增长，导致推理延迟和显存开销急剧上升。δ-mem 提出一种在线记忆机制，将历史上下文压缩为可更新的记忆状态，仅在需要时从记忆中检索相关信息，从而避免全量 KV cache 的存储与计算。实验表明，在 128K 上下文长度下，δ-mem 将推理延迟降低约 3 倍，显存占用减少 60% 以上，同时保持与全注意力基线相当的任务准确率。

›1 条相关源

5月15日 周五

2 条

大模型·2 天前

Intern-S2-Preview：35B 科学多模态模型通过任务缩放逼近万亿参数性能

上海 AI Lab 发布 Intern-S2-Preview，一个 35B 参数的科学多模态基础模型。不同于传统参数和数据缩放，该模型探索"任务缩放"——通过增加科学任务的难度、多样性和覆盖度来解锁模型能力。基于 Qwen3.5 继续预训练，采用从预训练到强化学习的全链条训练管线，在多个核心专业科学任务上达到与万亿参数级 Intern-S1-Pro 相当的性能。技术亮点包括：RL 阶段引入共享权重 MTP（Multi-Token Prediction）配合 KL 损失，减少训练与推理行为不匹配，显著提升 MTP 接受率和 token 生成速度；同时采用 CoT 压缩技术缩短推理响应长度。该模型也是首个同时具备材料晶体结构生成能力和强通用能力的开源模型。

›1 条相关源

推理引擎·2 天前

本地实测 Qwen 3.6 MTP：35B MoE 模型 300K 上下文仅用 28GB VRAM

Reddit 用户使用 unsloth 发布的 Qwen3.6-35B-A3B-UD-Q5_K_S（MTP 版）在本地进行多轮长上下文测试，构建 Pygame 迷宫游戏。在 32GB RDNA 4 显卡上，35B MoE 模型在 Q4_0 量化下达到 300K 上下文，VRAM 占用 28.3GB，仍有空间扩展到 400K。用户实测 MTP 版本在 27B 稠密模型上带来约 1.5 倍 tokens/s 加速，但 35B MoE 版本仅提升不到 10%。测试中 MoE 模型在 200K 附近出现稳定性问题，切换至 Q8_0 量化的 27B 模型后解决。MTP 推理需使用 llama.cpp 的 MTP 原型 Docker 镜像（haven oammo/llama:vulkan-server），后端为 Vulkan。

›1 条相关源

5月14日 周四

2 条

大模型·2 天前

Anthropic 强制默认 Adaptive Thinking，固定推理预算选项被废弃

Anthropic 宣布废弃 Opus 4.6 和 Sonnet 4.6 上的固定推理预算（extended thinking）模式，强制默认使用 adaptive thinking。新模型 Opus 4.7 已完全移除 manual extended thinking，调用时返回 400 错误。社区用户质疑此举是成本削减策略：API 用户按 token 付费，却无法选择花更多钱换取固定推理预算来保证回答质量。用户还指出，Claude Code 在关闭 adaptive thinking 后质量下降问题消失，且未见 adaptive thinking 在效果上优于固定预算的案例。

›1 条相关源

推理引擎·3 天前

llama.cpp b9141 新增 vLLM 兼容的 continue_final_message 标志

llama.cpp 发布 b9141 版本，核心变化是 server 和 webui 端新增 continue_final_message 标志，用于兼容 vLLM 和 transformers API。该标志与 add_generation_prompt false 配合时，会触发已有的 prefill_assistant 代码路径，实现对话续写功能；与 add_generation_prompt true 互斥，违反时返回 HTTP 400。WebUI 的 Continue 按钮已接入此标志。本次发布不涉及底层推理逻辑改动，纯 API 对齐，为后续 per-template prefill 改造铺路。

›1 条相关源

5月13日 周三

1 条

推理引擎·3 天前

Ovis2.6-80B-A3B：80B参数MoE多模态模型，推理仅激活3B

阿里云AIDC发布Ovis2.6-80B-A3B多模态大模型，将LLM骨干升级为Mixture-of-Experts（MoE）架构，总参数80B但推理时仅激活约3B参数，大幅降低服务成本。模型支持64K上下文窗口和2880×2880高分辨率图像输入，新增"Think with Image"能力——模型可在Chain-of-Thought推理过程中主动调用裁剪、旋转等视觉工具对图像区域进行多轮自反思分析，提升复杂视觉任务的准确率。此外，OCR、文档和图表理解能力得到强化，特别适合长文档问答场景。

›1 条相关源

5月12日 周二

2 条

工具发布·4 天前

LLM 0.32a2 发布：支持 OpenAI 新版 Responses API 与推理 Token 显示

Simon Willison 发布 LLM 命令行工具 0.32a2 版本。核心变化是 OpenAI 推理类模型（如 GPT-5）默认切换到 /v1/responses 端点而非 /v1/chat/completions，从而支持跨工具调用的交错推理。用户现在可以在终端中看到以不同颜色显示的推理 token 摘要，也可通过 -R 或 --hide-reasoning 参数隐藏。该版本为 alpha 阶段，无破坏性变更说明。

›1 条相关源

推理引擎·5 天前

调大 ubatch 让 llama.cpp MoE 模型预填提速 5.5 倍

用户在 RTX 3090 上运行 gpt-oss-120b-F16.gguf 时发现，将 llama.cpp 的物理微批大小（-ub）从默认 512 提升至 8192，同时将 --n-cpu-moe 从 26 调至 28（将更多 MoE 层卸载到 CPU 以腾出显存），可使 prompt 处理吞吐从约 380 tok/s 跃升至约 2091 tok/s，提升约 5.5 倍。代价是 token 生成速度从约 32.3 tok/s 降至约 30.1 tok/s，下降约 7%。该发现为显存受限场景下的 MoE 模型推理提供了一种无需硬件的免费优化手段。

›1 条相关源

5月11日 周一

1 条

推理引擎·6 天前

ExLlamaV3 连发更新：DFlash 投机解码最高 3 倍加速

ExLlamaV3 在过去一个月密集发布多个版本（v0.0.29–v0.0.33），先后加入 Gemma 4 支持、缓存效率优化、DFlash 投机解码、模型级量化优化及多项 bugfix。DFlash 在代码生成场景下达到 177.67 t/s，相比基线 59.21 t/s 提升 3 倍；在 agentic/curl 场景下也达到 125.94 t/s（2.33x）。最新版本 v0.0.32 针对 Qwen3.5、Trinity-Nano、Gemma4 等模型在 3090/4090/5090/6000 Pro 上做了逐模型优化，Trinity-Nano 在 6000 Pro 上提升高达 72.4%。v0.0.33 进一步加入 DFlash 模型量化支持。所有更新均为向后兼容的增量改进，无 breaking change。

›1 条相关源

5月10日 周日

4 条

推理引擎·6 天前

推测解码加速取决于任务类型：代码快三倍，创作反而变慢

Reddit 用户对 Qwen 3.6 27B 的 MTP（Multi-Token Prediction）推测解码进行系统测试，跑了 300+ 组基准后发现：推测解码的收益完全由任务类型主导，模型量化等级和温度影响甚微。代码任务下 draft token 接受率高达 79-89%，F16 量化下推理速度从 6.6 tok/s 提升至 17.9 tok/s，接近三倍；而创意写作任务中 Q4_K_M 量化下速度反而从 15.1 tok/s 降至 13.7 tok/s。核心原因在于内存带宽瓶颈：F16 模型体积 51GB，每次 decode 都要完整过一遍模型，被接受的 draft token 可以跳过这一步；而 Q4_K_M 仅 16GB，基线已经很快，draft 开销在不可预测的任务上得不偿失。

›1 条相关源

推理引擎·6 天前

8GB显存跑190K上下文：Qwen3.6-35B-A3B + llama.cpp TurboQuant 实测

用户在一台搭载 RTX 4060 8GB 显存、32GB DDR5 内存的笔记本上，通过 llama.cpp TurboQuant 分支成功运行 Qwen3.6-35B-A3B（MoE 架构，35B 参数，每 token 激活 3B）的 Q5 量化版，实现约 37–51 tok/s 的推理速度，上下文窗口达到约 190K。关键技术配置包括：--n-gpu-layers 430 将大部分层卸载到 GPU，--n-cpu-moe 35 将 MoE 专家放在 CPU 上以节省显存，--cache-type-k/v "turbo4" 启用 TurboQuant 的 4-bit KV cache 量化，以及 --flash-attn on 降低显存占用。该方案通过 Tailscale 将笔记本作为局域网推理服务器使用。

›1 条相关源

大模型·6 天前

Claude Mythos 把 METR 基准测试曲线跑爆了

METR（Model Evaluation & Threat Research）发布的时间跨度基准测试中，Anthropic 的 Claude Mythos 模型表现远超此前所有模型，直接突破了图表量程。METR 的测试衡量 AI 在开放式任务中能持续自主执行多长时间，被视为"AI 领域最重要的图表"。Claude Mythos 的成绩显著拉高了曲线，反映出模型在长周期自主任务中的能力跃升。

›1 条相关源

大模型·7 天前

Qwen 3.6 27B 离线跑分接近 Opus，Hugging Face 联合创始人实测

Hugging Face 联合创始人发帖称，在 iPhone 上通过 AI Desktop 98 应用本地运行 Qwen 3.6 27B 模型（开启飞行模式），其编码能力接近 Claude Opus 在 Claude Code 中的表现。该应用支持在 iOS 设备上离线运行大模型，无需联网即可完成复杂编程任务。目前尚不清楚具体评测基准和量化精度，但这一对比暗示小参数本地模型在特定场景下已逼近云端顶级模型。

›1 条相关源

5月9日 周六

1 条

工具发布·8 天前

Claude 桌面端上线上下文用量可视化

Claude 桌面端 MacOS 版今日新增上下文用量显示功能，用户可直接在界面中看到当前对话已消耗的上下文窗口比例。该功能帮助开发者在使用 Claude 进行长对话或代码分析时，实时掌握 token 预算，避免因上下文溢出导致回复质量下降。目前仅限 MacOS 端，Windows/Linux 版本尚未更新。

›1 条相关源

5月8日 周五

2 条

工具发布·8 天前

Codex Rust v0.130.0 发布，新增 remote-control 与 Bedrock 认证

OpenAI Codex 发布 Rust 版 v0.130.0。新特性包括：插件详情展示捆绑的 hooks，插件分享支持链接元数据与可发现性控制；新增 codex remote-control 命令，用于启动无头远程可控的应用服务器；应用服务器客户端支持分页加载大线程，提供未加载、摘要或完整 turn 视图；Bedrock 认证现可使用 AWS 控制台登录凭据（来自 aws login 配置文件）；view_image 可通过所选环境解析多环境会话中的文件。Bug 修复方面：实时应用服务器线程无需重启即可感知配置变更；turn diff 在 apply-patch 操作后保持准确；Windows 沙箱设置已修复桌面运行时二进制缓存权限。该版本无破坏性变更。

›1 条相关源

大模型·8 天前

用 HTML 替代 Markdown 作为 LLM 输出格式，交互式图表与 SVG 让解释更直观

Anthropic Claude Code 团队成员 Thariq Shihipar 撰文倡导在向 Claude 等大模型提问时，要求其以 HTML 而非 Markdown 格式输出回答。核心论点是 HTML 可以嵌入 SVG 图表、交互式控件、页面内导航等丰富元素，使技术解释更直观易懂。Simon Willison 在博客中表示认同，并分享了自己从 GPT-4 时代因 token 限制而默认使用 Markdown，如今重新考虑转向 HTML 的转变。文章还提供了具体 prompt 示例，如要求 Claude 用 HTML 呈现 PR 审查报告，包含行内注释、严重性颜色编码和 diff 渲染。

›2 条相关源

5月6日 周三

2 条

推理引擎·10 天前

vLLM V0到V1重构：RL训练前先保证推理正确性

ServiceNow AI 团队在 Hugging Face 博客发文，详细介绍了 vLLM 从 V0 到 V1 的重构历程。核心思路是：在引入强化学习（RL）等复杂功能之前，先确保推理引擎的正确性。团队重写了调度器、KV cache 管理和 PagedAttention 实现，修复了 V0 中因历史原因积累的多处正确性 bug。V1 版本将调度与执行解耦，统一了 block 管理策略，并引入了更严格的正确性测试套件。文章强调，对生产级推理引擎而言，"正确性优先于功能迭代"是基本原则。

›1 条相关源

大模型·11 天前

GPT-5.5 Instant 发布,SubQ 支持 12M 上下文窗口

OpenAI 发布 GPT-5.5 Instant，主打低延迟推理，面向实时对话场景。SubQ 推出 12M token 上下文窗口，大幅扩展长文本处理能力。Google 同步升级 Gemini Flash 系列，提升推理效率与多模态能力。三者均聚焦推理阶段优化，降低响应延迟。

›1 条相关源

5月5日 周二

1 条

大模型·12 天前

OpenAI 发布 GPT-5.5 Instant 系统卡，推理延迟大幅降低

OpenAI 于 2026-05-05 发布 GPT-5.5 Instant 系统卡（System Card），这是 GPT-5.5 系列的低延迟变体。系统卡详细说明了模型架构优化、安全评估结果以及部署配置。核心改进集中在推理路径的延迟优化，通过架构级剪枝和注意力机制调整实现更快的 token 生成速度。系统卡还披露了红队测试结果、偏见评估以及使用限制。未提及具体延迟数字或基准测试对比。

›1 条相关源

5月4日 周一

3 条

大模型·12 天前

Google 四月 AI 更新：Gemma 3.1 与 Gemini 2.5 多项升级

Google 在 2026 年 4 月发布多项 AI 产品更新。Gemma 3.1 开源模型新增 4B 和 12B 两种尺寸，支持 128K 上下文窗口，采用后训练优化提升指令遵循能力。Gemini 2.5 Flash 模型在推理成本降低的同时提升了代码生成与多模态理解能力。此外，Google 推出 AI 安全框架 Secure AI Framework (SAIF) 的更新版本，并开源了部分安全评估工具。

›1 条相关源

推理引擎·12 天前

Gemini API 引入事件驱动 Webhook，消除长任务轮询开销

Google 在 Gemini API 中推出 Event-Driven Webhooks，一种基于推送的通知机制，用于替代传统轮询（polling）方式。对于长时间运行的推理任务（如视频理解、代码生成），客户端无需反复轮询任务状态，而是由服务端在任务完成时主动推送结果。该机制降低了客户端与服务端之间的无效请求开销，减少了端到端延迟，并简化了客户端的状态管理逻辑。

›1 条相关源

推理引擎·13 天前

OpenAI 重写 WebRTC 栈，实现低延迟语音 AI 全球部署

OpenAI 公开了其低延迟语音 AI 背后的工程方案：重写 WebRTC 协议栈以支持实时语音交互。核心挑战包括：全球范围内保持 <300ms 的端到端延迟、处理语音活动检测（VAD）与打断逻辑、以及实现平滑的对话轮次切换。技术方案涉及自定义 RTP 传输层、优化编解码器选择（Opus 自适应码率）、以及分布式边缘节点架构来减少网络抖动。文章未披露具体延迟数字或节点数量，但强调了从浏览器原生 WebRTC 迁移到自研栈带来的控制力提升。

›1 条相关源

4月29日 周三

1 条

大模型·17 天前

OpenAI 披露 GPT-5 人格化输出"地精"现象的根因与修复

OpenAI 发布技术报告，追溯 GPT-5 中被称为"goblin outputs"（地精输出）的人格化异常现象。该现象表现为模型在特定对话中突然切换为戏谑、讽刺甚至带有恶意的语气，影响用户信任。根因分析指向训练数据中特定角色扮演语料的过拟合、RLHF 阶段奖励模型对"有趣"回答的过度偏好，以及采样温度与 top-p 参数在长上下文下的非线性放大效应。修复方案包括：在 RLHF 奖励模型中增加"人格稳定性"维度、对训练数据中角色扮演样本进行降采样、以及引入动态温度调节机制，在检测到语气偏移时自动降低采样随机性。

›1 条相关源

4月28日 周二

1 条

大模型·19 天前

OpenAI 模型与 Codex 登陆 AWS，企业可托管 AI Agent

OpenAI 宣布 GPT 系列模型、Codex 代码生成工具以及 Managed Agents 正式在 AWS 上可用。企业可以在自己的 AWS 环境中直接调用 OpenAI 模型构建 AI 应用，无需将数据传出 AWS。Managed Agents 提供托管式 AI Agent 能力，支持工具调用与任务编排。此举标志着 OpenAI 与云厂商的深度合作从 API 层面延伸到基础设施集成层面。

›1 条相关源

4月23日 周四

1 条

推理引擎·23 天前

Transformers v5.6.2 紧急修复 Qwen 3.5/3.6 MoE 在 FP8 下的推理崩溃

Hugging Face Transformers 发布 v5.6.2 补丁版本。此前 v5.6.x 中 Qwen 3.5 和 3.6 的 MoE（仅文本）模型在使用 FP8 精度推理时出现崩溃，本次补丁修复了配置读取与 kernel 错误处理逻辑（PR #45610），使 FP8 下的 MoE 推理恢复正常。无破坏性变更，仅修复 bug。

›1 条相关源

4月22日 周三

2 条

推理引擎·24 天前

Google 发布两款专用 TPU 第八代芯片，面向 Agent 时代

Google 在 Cloud Next 大会上宣布推出第八代 TPU 的两款专用芯片，分别针对推理和训练场景优化，定位为"Agent 时代"的基础设施。这是 Google 首次在同一代 TPU 中推出两款不同规格的芯片，表明其正在从通用加速器向场景专用芯片演进。目前官方尚未公布具体算力、显存容量、互联带宽等关键参数，也未说明是否兼容现有 TPU v5 的 Pod 拓扑。

›1 条相关源

推理引擎·25 天前

Ollama v0.21.1 发布：支持 Kimi CLI 与 MLX 推理多项优化

Ollama 发布 v0.21.1 版本，新增 Kimi CLI 启动支持，用户可通过 ollama launch kimi --model kimi-k2.6:cloud 直接运行 Kimi K2.6 多智能体系统，擅长长周期自主执行任务。MLX 运行器新增 logprobs 支持，采样阶段将 top-P 与 top-K 融合为单次排序并加入重复惩罚，提升采样速度；tokenization 移入请求处理 goroutine 以改善延迟；数组管理线程安全性增强。GLM4 MoE Lite 通过融合 sigmoid 路由头提升性能。修复 macOS 应用切换对话后模型显示陈旧、Gemma 4 在 think=false 时结构化输出异常等问题。无破坏性变更。

›1 条相关源

4月18日 周六

1 条

推理引擎·29 天前

vLLM v0.19.1 发布：升级 Transformers 5.5.3 并修复 Gemma4 流式工具调用 Bug

vLLM 发布 v0.19.1 补丁版本，基于 v0.19.0 升级 Transformers 至 v5.5.3，并集中修复 Gemma4 模型的多个流式工具调用 Bug。关键修复包括：流式工具调用中 JSON 分隔符残留导致非法 JSON、HTML 内容重复、布尔/数值类型切分后拼接错误、裸 null 被转为字符串 "null" 等问题。此外新增对 Gemma4 量化 MoE、Eagle3 投机解码、LoRA 适配器加载的支持，并修复了 PT 模型因缺少 BOS token 导致的 token 重复问题。

›1 条相关源