おくみん公式ブログ

おくみん公式ブログ

ZooKageでHive 4を試せるようにしました

ZooKage Architecture

ZooKage 0.2.2をリリースしました。本バージョンを用いることで最新のHiveを手軽に試すことができます。

更新内容

いくつかのソフトウェアで新しめのバージョンを指定できるようになりました。詳しくはリリースノートをご参照ください。

主な目的はアルファ版Hive 4やmasterブランチを手元で試せるようにすることです。現在Hiveの最新安定版は3系で、これはmasterブランチとかなり乖離があります。今回の更新により最新の挙動を確認したり、OSSに提出するパッチの動作確認をする作業が楽になりました。

Hiveのmasterブランチには非常に高度な最適化やIceberg対応などの便利な機能が取り込まれており、同僚の間でもかなり話題になっています。Hive 4のリリースが待ち遠しいですね。

OSS貢献

コマンド一発で動作確認ができるように、ZooKageリポジトリには最低限の動作を確認するためのインテグレーションテストが含まれています。その中にWARNログやERRORログを監視するテストがあり、今回いくつかそれらのログが検出されたのでパッチを提出しました。

今やろうとしてること

S3互換ストレージで動作確認したくなることがたまにあるので、Apache Ozoneのサポートを追加しようとしています。以前挑戦したときは確かHadoopリポジトリから分離したときの名残が色濃く残っていて、環境変数などの設定が複雑になりそうで諦めた記憶があります。1.1.0か1.2.0あたりでそのへんが整理されているはずなので、再チャレンジする予定です。

関連記事

blog.okumin.com