更新于 2026/06/29 20:32
Ray 2.56.0 发布:数据稳定性增强与 LLM 服务架构重构
Ray 2.56.0 正式发布,核心亮点包括 Ray Data 稳定性大幅提升、Ray Serve LLM 服务架构重构以及 GPU 域感知的放置组支持。Ray Data 新增多数据集集群共存、自动 batch_size 选择与默认逻辑内存配置,减少 OOM 和对象存储溢出。
Ray Serve LLM 将请求处理与 token 流式响应路径解耦,显著提升 LLM 推理性能;同时引入 ConsistentHashRouter 和 CapacityQueueRouter 两种新路由策略。Ray Core 新增 GPU 域感知放置组(基于 ray.io/gpu-domain 标签),以及 Autoscaler v2 的 Kubernetes 原地 Pod 扩缩容支持。
此外还发布了 DataSourceV2 框架(ParquetDatasourceV2 等)和分布式 Iceberg upsert 功能。
速读
Ray 2.56.0 重构 Serve LLM 架构并增强数据稳定性
相关源 (1)
- Ray Releases · 2026/6/29 20:32:55https://github.com/ray-project/ray/releases/tag/ray-2.56.0