数据库·29 天前
ClickHouse 官方博客介绍了如何仅用 ClickHouse 自身能力实现 Medallion(青铜/白银/黄金)分层架构,无需引入 Spark、dbt 等外部 ETL 引擎。核心思路是利用 ClickHouse 的物化视图(Materialized View)和 Incremental Materialized View 实现青铜→白银→黄金的增量转换:青铜层直接存储原始数据(如 Kafka 表引擎或 S3 表函数);白银层通过物化视图做清洗、去重、类型转换;黄金层再做聚合、宽表、业务指标计算。文章强调所有转换都在 ClickHouse 内部完成,利用其列存和向量化执行引擎保证性能,避免数据搬运。