polars

Polars - 高性能 Python DataFrame 库

技能概述

Polars 是一个基于 Apache Arrow 的高速内存 DataFrame 库，专为 1-100GB 数据集设计，提供比 pandas 更快的数据处理性能。

适用场景

1. pandas 性能不足时的替代方案

当处理中大规模数据集（1-100GB）时，pandas 的速度和内存效率可能成为瓶颈。Polars 通过惰性求值、并行执行和 Apache Arrow 后端，提供显著更高的性能，同时保持简洁的 API。特别适合 ETL 管道、数据清洗和批量数据处理任务。

2. 需要高性能数据处理和转换

Polars 的表达式 API 和惰性求值框架使复杂的数据转换更加高效。支持数据筛选、聚合、窗口函数、连接操作等，并且能够自动优化查询计划。适用于数据分析、特征工程、报表生成等需要大量数据操作的场景。

3. 从 pandas 迁移到更快的数据框架

对于熟悉 pandas 但需要更好性能的用户，Polars 提供了相似的 DataFrame 操作模式，同时解决了 pandas 的性能限制。支持常见的数据格式（CSV、Parquet、JSON、Excel），可以无缝集成到现有数据工作流中。

核心功能

1. 表达式 API 和惰性求值

Polars 采用表达式为核心的 API 设计，所有操作通过 pl.col() 表达式构建。惰性求值（LazyFrame）允许在执行前优化整个查询计划，包括谓词下推、投影下推等优化策略。这意味着复杂的数据操作可以以最优方式执行，大幅提升性能。

2. 高性能数据处理操作

提供完整的数据处理工具集：数据筛选（filter）、列选择（select）、分组聚合（group_by）、窗口函数（over）、数据连接（join）、数据透视（pivot/unpivot）等。所有操作默认并行执行，充分利用多核 CPU 性能。

3. 多格式数据 I/O 支持

支持读写多种数据格式，包括 CSV、Parquet、JSON、Excel 等。Parquet 格式特别推荐，因为它提供最佳的读写性能和压缩率。支持从云存储（S3、Azure、GCS）和数据库读取数据，方便集成到各种数据源。

常见问题

Polars 和 pandas 有什么区别？哪个更快？

Polars 和 pandas 的主要区别在于：Polars 使用惰性求值和并行执行，基于 Apache Arrow 构建，而 pandas 是即时执行且主要单线程运行。在大多数操作中，Polars 比 pandas 快 5-10 倍，特别是在大数据集和复杂查询场景下。Polars 还没有索引概念，类型系统更严格，API 设计更加一致。

Polars 适合处理多大的数据量？

Polars 最适合处理 1-100GB 的内存数据集。对于小于 1GB 的数据，pandas 可能足够且生态更成熟。对于超过 100GB 或大于内存的数据，建议使用 Dask 或 Vaex 等支持分布式或流式处理的框架。Polars 也支持流式处理模式（streaming=True），可以在有限内存下处理稍大于内存的数据。

如何从 pandas 迁移到 Polars？

迁移过程相对平滑，因为两者都是 DataFrame 操作模式。主要差异包括：选择列用 select() 而不是 df["col"]，过滤用 filter() 而不是布尔索引，添加列用 with_columns() 而不是 assign()，分组用 group_by() 而不是 groupby()。Polars 的表达式 API 虽然需要适应，但更加一致和可组合。建议从小项目开始逐步迁移，熟悉表达式 API 后再处理复杂场景。