dbt-transformation-patterns

dbt 数据转换模式技能

技能概述

使用 dbt (data build tool) 构建生产级数据转换管道，掌握模型分层组织、数据质量测试、自动化文档和增量处理等分析工程核心实践。

适用场景

1. 构建数据转换管道

当您需要使用 dbt 将原始数据转换为可用于分析的数据模型时。适合正在搭建或优化数据仓库转换流程的团队，帮助建立可维护、可测试的数据管道架构。

2. 组织与优化数据模型

当您需要规划 dbt 项目的模型结构时。提供 staging、intermediate 和 marts 三层模型的组织方案，包括命名规范、所有权定义和模块化设计，让项目结构清晰易维护。

3. 实现数据质量保障

当您需要为数据模型添加测试和文档时。涵盖数据测试策略、文档生成、数据新鲜度检查等最佳实践，确保数据可靠性和团队协作效率。

核心功能

模型分层与组织

定义清晰的模型分层架构（staging、intermediate、marts），建立统一的命名规范和文件组织方式，明确模型所有权，让数据管道结构化、可扩展。

数据测试与文档

实现多层级数据质量测试（唯一性、非空、引用完整性等），自动生成模型文档，配置数据新鲜度监控，构建可信赖的数据资产。

增量处理优化

为大数据量表选择合适的增量策略和 materialization（表、视图、增量表），优化 dbt 运行性能，使用 selectors 和 CI 工作流提升开发效率。

常见问题

dbt 适合用来做什么？

dbt 专为数据仓库转换设计，适合在 Snowflake、BigQuery、Redshift、Databricks、PostgreSQL 等数据库上构建数据模型和分析管道。如果您只需要写一次性 SQL 查询或项目不使用数据仓库，dbt 可能不是最佳选择。

模型应该如何分层组织？

推荐采用三层结构：staging 层（清洗和标准化原始数据）、intermediate 层（组合和转换业务逻辑）、marts 层（面向业务的分析模型）。每层有明确的职责边界，便于测试和复用。

如何为大表创建增量模型？

对于大数据量表，使用 incremental materialization 可以仅处理新增或变更的数据。技能会帮助您选择合适的增量策略（如时间戳筛选、唯一键去重），并配置 unique_key 和 incremental_strategy 参数优化性能。