Dask - 大规模并行与分布式数据处理

技能概述

Dask 是一个用于处理超出内存限制数据集的 Python 并行计算库，能够在保持 pandas 和 NumPy 熟悉 API 的同时，将计算从单核笔记本扩展到多机集群。

适用场景

1. 处理超出内存的大型数据集

当您的数据量超过可用 RAM（如数十到数百 GB 的表格数据或数组）时，Dask 通过分块处理让您能够在有限硬件上完成分析。适用于单机处理 ~100 GiB 数据，或集群环境处理 ~100 TiB 数据。

2. pandas 和 NumPy 代码的并行化扩展

如果您已有 pandas 或 NumPy 工作流需要加速或扩展到更大规模，Dask 提供几乎完全兼容的 API，让您能够以最小改动实现并行处理和分布式计算。

3. 多文件批量处理与分布式工作流

适用于需要并行处理大量文件（CSV、Parquet、JSON、日志）的 ETL 任务，或构建具有复杂依赖关系的自定义并行计算流程。支持云存储（S3、GCS）直接读取，无需预先下载。

核心功能

1. Dask DataFrames - 并行 pandas 操作

提供与 pandas 几乎一致的 API，支持过滤、分组、聚合、连接等常见操作，但以并行方式处理多个分块。适合处理超内存表格数据和多文件合并分析。

2. Dask Arrays - 并行 NumPy 操作

扩展 NumPy 到超内存数组，支持分块算法和并行线性代数运算。适合科学计算、图像处理、HDF5/Zarr 大型数组数据处理。

3. 灵活的调度器与分布式执行

支持线程、进程、同步和分布式四种调度器，可根据任务类型（数值计算 vs 纯 Python）选择最优执行方式。提供实时性能监控仪表板，便于识别瓶颈和优化资源使用。

常见问题

Dask 适合处理多大的数据集？

Dask 可处理从几十 GB 到上百 TB 不等的数据集。在单机上通常可处理约 100 GiB，在集群环境中可扩展至 100 TiB。实际处理能力取决于数据类型、操作复杂度和可用硬件资源。

Dask 和 pandas 有什么区别？

pandas 受限于单机内存，适合中小型数据集（通常 < 10 GB）；Dask 专为超内存和并行计算设计，可将数据分块处理，突破内存限制。Dask API 高度兼容 pandas，许多 pandas 代码可直接迁移。

如何在单机上开始使用 Dask？

只需安装 dask[complete] 即可获得完整功能（含分布式调度器和仪表板）。默认情况下，Dask 会在本地创建多进程工作池，无需额外配置即可并行利用多核 CPU。需要监控时启动 Client() 即可获得可视化仪表板。