发布日期：2026 年 10 月 12 日
Apache Paimon 社区正式发布 Apache Paimon 2.1.0 和 PyPaimon 2.1.0。
相比 2.0.0，本版本经过约两个月迭代，两个正式 Tag 之间涉及约 1,000 个提交，重点完善了多模态数据管理、Data Evolution、PyPaimon 原生执行、全局索引、REST Catalog、Iceberg 兼容以及 Flink、Spark 集成。
正式源码包已经发布，Java 构件和 PyPaimon 也分别可以从 Maven Central 与 PyPI 获取。

版本亮点

  1. Data Evolution 能力进一步完善，支持更加灵活的列级、嵌套字段级更新与数据回填。
  1. 多模态数据能力增强，持续完善 BLOB、VECTOR、VARIANT、视频和 LeRobot 数据集支持。
  1. PyPaimon 原生执行路径扩展，加强 Rust Native、Ray 和 PyTorch 等 AI 数据处理生态。
  1. 全局索引与搜索能力升级，增强 BTree、Bitmap、Multivalue、FM、向量和全文索引。
  1. REST Catalog 与数据治理能力增强，新增权限、策略、查询授权和语义视图等管理能力。
  1. Iceberg、Flink、Spark 和 CDC 集成持续增强，并修复大量并发、Compaction 和格式兼容问题。

多模态与 Data Evolution

Paimon 2.1.0 继续完善面向 AI 数据管道的 Data Evolution 模型。对于启用 Row Tracking 的 Append Table，可以只更新指定列，而无需重写未发生变化的大字段文件；逻辑行可以由普通列文件、BLOB 文件和向量文件按照 Row ID 组合而成。
本版本主要增强包括：
  • 支持嵌套字段级 Data Evolution。
  • 完善 Spark UPDATE、MERGE INTO 和 Flink SQL DELETE。
  • 增强 PyPaimon 按 Row ID、业务键和条件进行更新、删除与合并。
  • 优化并发更新和 Compaction 之间的冲突检测与重试。
  • 支持 Data Evolution 表上的 Deletion Vector、索引下推和统计信息裁剪。
  • 增强 BLOB 数组、MAP BLOB、向量文件和局部列回填能力。
Data Evolution 能够避免在更新标签、描述、向量等派生数据时重复改写图片、视频等大型原始数据，尤其适合数据标注、Embedding 生成和模型训练数据迭代场景。

PyPaimon 与 AI 数据处理

PyPaimon 2.1.0 是本次发布的重点方向之一。Native 读取、写入、扫描规划和提交能力得到扩展，更多主键表、动态 Bucket、Data Evolution、BLOB、VARIANT 和分支写入场景可以进入 Rust 原生执行路径。
在分布式 AI 数据处理方面，本版本增强了：
  • 基于 Ray 的分布式向量搜索、全文搜索和混合搜索。
  • Ray Row ID 更新和大规模 MERGE。
  • PyTorch 流式、批式和分布式 Dataset。
  • LeRobot 数据集导入、直接采集写入和训练窗口读取。
  • Packed Video 存储、关键帧索引和并行视频解码。
  • HDFS Native Client，以及 BLOB、VARIANT 和向量数据的原生读取。
PyPaimon 进一步从“Python 访问接口”演进为面向 AI 和多模态工作负载的数据处理 SDK。

全局索引与搜索能力

Paimon 2.1.0 对全局索引进行了较大范围的增强：
  • BTree 支持复合键、前缀、范围、IN 和空值查询。
  • BTree 可选 Bloom Filter，并优化 Posting List 编码。
  • 新增面向数组成员查询的 Multivalue Index。
  • 完善 FM Index，支持精确子串查询和主键表。
  • 支持索引增量刷新和并行构建。
  • 向量索引和全文索引支持 Deletion Vector 表。
  • 支持向量、全文和混合搜索的预过滤及分布式执行。
  • 改进索引覆盖范围、残余谓词和统计信息处理的正确性。
2.1.0 的全局索引体系覆盖标量过滤、数组成员检索、子串搜索、向量相似度搜索和全文搜索，为统一分析与 AI 检索提供了更加完整的能力。

REST Catalog 与数据治理

REST Catalog 在 2.1.0 中进一步从远程元数据访问接口扩展为统一的 Catalog 与治理入口，新增或增强了：
  • REST Schema Management。
  • 权限和策略管理。
  • 行级过滤与列掩码。
  • Query Authorization。
  • Semantic View 和实体标签管理。
  • 分区统计信息注册。
  • PyPaimon REST Commit 与权限管理。
  • REST Management OpenAPI。
此外，Paimon 视图现在可以在 REST、JDBC 和 Hive Catalog 中保存，并可维护不同 SQL 引擎方言的查询定义。

Iceberg 兼容性

本版本继续增强 Paimon 表的 Iceberg 元数据发布能力：
  • 支持 Iceberg Format V3 Row Lineage 元数据。
  • 支持将 VARIANT 列发布为 Iceberg V3。
  • 增强 Iceberg REST Catalog 属性透传与异常恢复。
  • 改进 Tag 到 Iceberg Snapshot Reference 的映射。
  • 完善时间精度、NaN Bounds 和不兼容类型校验。
  • 修复回滚、元数据过期和 REST 短暂故障场景。
其他引擎可通过 Iceberg Connector 读取 Paimon 发布的元数据，而数据写入、Compaction 和生命周期管理仍由 Paimon 负责。

Flink、Spark、CDC 与可靠性

围绕计算引擎集成，2.1.0 增强了：
  • Flink Data Evolution SQL DELETE、Savepoint Auto Tag 和异步 Lookup 刷新。
  • Spark Data Evolution Self-Merge、MERGE INTO、Row ID 重分配及 Format Table 操作。
  • Format Table 的 TRUNCATE TABLE、ANALYZE TABLE、分区统计和 Overwrite。
  • MySQL CDC 表级配置、PostgreSQL jsonb、Debezium 主键解析和多表 CDC 状态恢复。
  • 并发 MERGE 与 Compaction 冲突检测。
  • Manifest、Block Cache、文件索引、向量搜索和 BLOB 读取性能优化。
2.1.0 继续提供 Flink 1.16—2.2、Spark 3.2—4.1，以及多个 Hive 版本的构件。