dask

Dask - Python 并行与分布式计算框架

技能概述

Dask 是一个 Python 并行和分布式计算库，可以在单机上处理超过内存限制的数据，并支持跨多台机器的大规模分布式计算。它兼容 pandas 和 NumPy 的 API，让你无需重写代码就能将现有分析扩展到更大规模。

适用场景

1. 数据量超过可用内存

当你的数据集太大，pandas 或 NumPy 无法全部加载到内存时，Dask 可以通过分块处理的方式，让你在有限的内存上完成计算。无论是处理 100GB 的 CSV 文件，还是分析数 TB 的数据集，Dask 都能从容应对。

2. 需要加速 pandas/NumPy 计算

如果你现有的 pandas 或 NumPy 代码运行太慢，Dask 可以通过并行处理充分利用多核 CPU，显著提升计算速度。对于迭代计算、groupby 聚合等常见操作，加速效果尤其明显。

3. 多文件批量处理

需要同时处理成百上千个文件（如日志、时间序列数据）时，Dask 可以并行读取和处理，大幅缩短总处理时间。支持 glob 模式匹配，让你轻松处理按日期或类型分片的文件集合。

核心功能

Dask DataFrame - 并行化 Pandas 操作

提供与 pandas 兼容的 API，可以处理比内存大得多的表格数据。支持常见的 DataFrame 操作（过滤、groupby、join、聚合），并能自动并行执行。特别适合 ETL 管道、时间序列分析和多文件合并场景。

Dask Array - 大规模数组计算

扩展 NumPy 到超过内存的数组，支持分块算法和并行线性代数运算。适用于科学计算、图像处理和多维数据分析。与 HDF5、Zarr、NetCDF 等格式深度集成，是处理科学数据的理想选择。

分布式调度与监控

提供灵活的调度器选择（线程、进程、分布式），内置实时性能监控仪表板。可以监控任务执行进度、内存使用和计算瓶颈，帮你优化并行计算策略。支持从单机到集群的无缝扩展。

常见问题

Dask 和 pandas 有什么区别？什么时候应该用 Dask？

Dask 并不是要替代 pandas，而是扩展 pandas 的能力。如果你的数据能全部装入内存且计算速度可接受，pandas 仍然是最佳选择。当你遇到内存不足、计算太慢或需要分布式处理时，Dask 是理想的升级方案。重要的是，Dask 的 API 设计与 pandas 高度兼容，迁移成本很低。

Dask 如何处理超过内存大小的数据集？

Dask 采用分块处理策略，将大数据集分割成多个小块（chunks），每次只加载和处理一小块数据。这些分块可以驻留在磁盘上，按需加载到内存。所有计算都是惰性求值的，Dask 会先构建任务图，优化执行计划后再真正计算，既节省内存又提高效率。

Dask vs Spark，应该选择哪一个？

如果你的技术栈以 Python 为主，尤其是已经在使用 pandas 和 NumPy，Dask 是更自然的选择——学习曲线更平缓，代码迁移成本更低。Spark 更适合超大规模集群（PB 级数据）和 Java/Scala 混合开发环境。对于大多数数据科学团队（单机到中小型集群），Dask 的灵活性和易用性更具优势。