数据库·29 天前
ClickHouse 宣布原生集成 Apache Iceberg 等开放表格式，用户可直接查询 Iceberg 表、将 ClickHouse 数据写入 Iceberg，并在 Iceberg、Delta Lake、Hudi 之间做联邦查询。技术核心包括：利用 Iceberg 的 manifest 和 manifest list 实现分区裁剪与谓词下推，避免全表扫描；通过 Parquet 列存格式对齐 ClickHouse 向量化执行引擎，减少序列化开销；未来路线图计划支持 Iceberg REST Catalog、表维护（compaction、snapshot 过期）以及更深的统计信息集成以提升查询剪枝效率。
数据库·29 天前
ClickHouse 博客发布了对 Delta Lake Change Data Feed (CDF) 的深度调研结果，并开源了一套 MIT 协议的 Python 参考实现，用于将 Delta Lake 的变更数据实时同步到 ClickHouse。文章详细分析了 Delta Lake CDF 的工作原理：每次写入事务会生成一个版本号，CDF 通过读取指定版本区间内的新增数据文件（而非解析事务日志全文）来获取变更。实现中需要处理 Schema 演进、删除向量（Deletion Vectors）以及时间旅行（Time Travel）等边界情况。该方案适用于需要将数据湖变更实时入仓的 OLAP 场景。
数据库·29 天前
ClickHouse Cloud 发布 DataLakeCatalog 引擎，支持直接查询 Iceberg 和 Delta Lake 表。用户连接 Glue 或 Unity Catalog 后，引擎自动发现湖仓中的表，无需手动注册即可用 ClickHouse 的 OLAP 速度执行查询。该引擎将 Catalog 层抽象为统一入口，屏蔽了不同湖格式的元数据差异。
数据库·29 天前
ClickHouse 官方博客发文探讨 Iceberg、Delta Lake 等开放表格式（OTF）能否成为可观测性场景的底层存储方案。文章指出，当前 OTF 在写入吞吐、分区管理、数据压缩和实时查询延迟上均未达到生产级可观测性需求，尤其是小文件膨胀和缺乏高效的 time-based 分区剪枝能力。但文章也认为，若引入列式写入缓冲层、自适应 compaction 策略以及针对时间序列的索引优化，Lakehouse 架构有望在未来实现低成本、无锁定的开放可观测性方案。
数据库·29 天前
ClickHouse 官方博客介绍了如何仅用 ClickHouse 自身能力实现 Medallion（青铜/白银/黄金）分层架构，无需引入 Spark、dbt 等外部 ETL 引擎。核心思路是利用 ClickHouse 的物化视图（Materialized View）和 Incremental Materialized View 实现青铜→白银→黄金的增量转换：青铜层直接存储原始数据（如 Kafka 表引擎或 S3 表函数）；白银层通过物化视图做清洗、去重、类型转换；黄金层再做聚合、宽表、业务指标计算。文章强调所有转换都在 ClickHouse 内部完成，利用其列存和向量化执行引擎保证性能，避免数据搬运。
数据库·2026/4/17
ClickHouse 官方博客发文指出，云数据仓库（如 Snowflake、Redshift）的一体化霸权时代正在终结。核心论点是：随着数据规模增长和实时分析需求爆发，单一引擎无法同时满足存储、计算、查询、治理等所有需求，行业正走向"解绑"——存储与计算分离、查询引擎与存储格式解耦、元数据与数据分离。博客以 ClickHouse 自身演进为例，说明如何通过 ClickHouseKeeper（基于 Raft）、对象存储集成、以及轻量级物化视图等机制，让用户按需组合组件，而非被锁定在全栈方案中。