おくみん公式ブログ

おくみん公式ブログ

Apache HiveとIceberg: 2025年春

こうならないかな?と妄想中

4月某日、Hiveのメーリングリストに『HiveのデフォルトテーブルフォーマットをIcebergにしてはどうか』という提案が投稿されました。賛否はあるもののこの提案が現実的に思えるほど、HiveコミュニティはIcebergやData Lakehouseとのインテグレーションに多くのリソースを費やしています。

この記事では私が関わっているものを中心に、今後のリリースで追加されそうな面白機能を紹介していきます。

続きを読む

HiveのBucket Map JoinをIcebergテーブルでも使用できるようにした話

Bucket Map Join with Iceberg

現在HiveコミュニティはPartition-Aware Optimizationという機能の開発に取り組んでいます。これはOpen Table Formatが提供する柔軟なパーティショニングやストレージレイアウトを活用し、Apache Hiveの高度な最適化を有効化するための試みです。

この記事ではその一部であり、先日マージされた『[HIVE-28411] Bucket Map Join on Iceberg tables - ASF JIRA』について解説します。

続きを読む

Apache Hiveコミッターに就任しました

Invitation to ASF

SNSでご報告した通り、2024年11月12日にApache Hiveコミッターに就任しました。

続きを読む

Apache Hive 4.0.1がリリースされました

2024年10月2日にHive 4.0.1がリリースされました

続きを読む

Apache Hive 4: 新しく追加されたUDFの紹介

Tuple Sketch UDFs

先日ついにApache Hive 4.0.0がリリースされました。おおよそ6年ぶりのメジャーアップデートということもあり、5000コミット以上もの変更をともなう大型リリースとなっています。

この記事ではHive 4にて追加されるUDFを紹介します。

続きを読む