DuckDB 1.2 benchmarks: beating Spark for single-node analytics

日本語要約

DuckDB 1.2がリリースされ、並列グループ集計、JSON处理の改善、ネイティブParquet書き込みが追加されました。ベンチマークでは500GB以下の多くの一般的な分析ワークロードで、10ノードのSparkクラスターを単一ノードのDuckDBが上回る結果が示されています。

ポイント

• ▸ 並列グループ集計により100GB超のデータ集計が最大4倍高速化
• ▸ Parquetファイルへの直接書き込みが可能になり、データパイプラインが簡素化
• ▸ JSON処理がPostgreSQLのjsonbに匹敵する速度に改善
• ▸ Pythonのpolarsとの連携が強化され、Arrow経由のゼロコピー転送が可能
• ▸ 500GB以下のデータなら専用クラスターが不要になるケースが多いと示唆

原文抜粋

DuckDB 1.2 introduces parallel grouped aggregation, improved JSON processing, and native Parquet writing. Benchmarks show single-node DuckDB outperforming 10-node Spark clusters for many common analytics workloads under 500GB.