工具发布·18 天前
Transformers v5.7.0 发布:Laguna MoE 与 DEIMv2 目标检测模型加入
HuggingFace Transformers 发布 v5.7.0 版本,新增两个模型族:Poolside 的 Laguna MoE 语言模型和 DEIMv2 实时目标检测模型。Laguna 的核心创新包括 per-layer 可变 query-head 数(共享 KV cache shape)和基于 sigmoid 的 MoE router + 可学习 per-expert bias 实现无辅助损失的负载均衡。DEIMv2 扩展了 DEIM,引入 DINOv3 特征,通过 Spatial Tuning Adapter 将单尺度输出转为多尺度特征,轻量版使用剪枝 HGNetv2 骨干,DEIMv2-X 以 50.3M 参数达到 57.8 AP,DEIMv2-S 成为首个 sub-10M 参数超 50 AP 的模型。此外修复了多个 attention 相关 bug。