おくみん公式ブログ

おくみん公式ブログ

Hiveで学ぶ分散JOINアルゴリズム: 全6回まとめ

ビッグデータ

2026年8月前半、Xで「Hiveで学ぶ分散JOINアルゴリズム」という全6回の連載を投稿しました。Xの記事機能を使った投稿を目にする機会が増え、筆者も試してみようと思ったのがきっかけです。本記事では、全6回へのリンクをまとめます。

連載一覧

この連載では、分散クエリエンジンがSQLのJOINをどのように処理するのかを、Apache Hiveの実装を題材に解説しています。

全体の流れをつかむには、第1回から順に読むのがおすすめです。

今後も、分散システムの実装やOSS開発の裏話などを不定期に投稿する予定です。取り上げてほしい話題があれば、@okuminのDMまたはお問い合わせフォームからお便りください。お待ちしています！

ランキング参加中
プログラミング

「Apache Hive: そしてCloud Native Lakehouseへ」OTFSG Osaka Meetup登壇レポート #otfsg_tokyo

ビッグデータ

Apache Hive is a Cloud Native Lakehouse Platform!

先日開催されたOTFSG Osaka Meetup #2で登壇しました。発表タイトルは「Apache Hive: そしてCloud Native Lakehouseへ」です。

speakerdeck.com

発表動画はYouTubeにも公開されています。会場に来られなかった方も、ぜひご視聴ください。よろしければ、いいねとチャンネル登録もお願いします！

youtu.be

続きを読む

Hive MetastoreとPyIcebergではじめるIceberg REST Catalog最速入門

ビッグデータ

チュートリアル環境

Iceberg REST Catalogは、Apache Icebergのカタログ操作をHTTP APIとして標準化したものです。現在ではさまざまなOSS実装やクラウドサービスで採用が進んでおり、Icebergエコシステムの重要なインターフェースになりつつあります。

とはいえ、Iceberg REST Catalogを含む検証環境を一から用意するのは意外と大変です。そのため、名前は聞いたことがあっても、実際に手を動かして試したことのある方はまだ多くないのではないでしょうか。

本記事では、Hive Metastore組み込みのIceberg REST Catalog APIをDockerで起動し、PyIcebergから接続して動作確認する手順をチュートリアル形式で紹介します。詳しい仕様には深入りせず、まずはローカルでIceberg REST CatalogとApache Icebergを手軽に体験することを目的とします。

English version: Iceberg REST Catalog in No Time: A Quickstart with Hive Metastore and PyIceberg

続きを読む

OTF Talk第36回出演 | HiveとIcebergの現在地とこれからを語りました #OTFTalk

ご挨拶 ビッグデータ

https://i.ytimg.com/vi/aCSwFlnsF2s/hqdefault.jpg

「Apache Hive からみた Open Table Format (OTF) (#36)」にゲスト出演させていただきました。OTF TalkはApache IcebergやApache Hudi、Delta LakeのようなOpen Table Formatについてホストの下佐粉さんと対談するPodcastです。今回はApache Hive PMCメンバーとして、HiveそのものやIcebergの関係性、Iceberg関連の新機能についてお話しさせていただきました。

続きを読む

Apache Hive PMCメンバーになりました

ビッグデータ ご挨拶

Hive PMCへの招待

先日XやLinkedInでご報告した通り、2025年12月8日にApache HiveのPMCメンバーに就任しました。

続きを読む

お手伝いさせていただいた『Apache Iceberg活用入門』が発売されました

ビッグデータ

Apache Iceberg活用入門　オープンテーブルフォーマットによるデータレイク＆データレイクハウス

Apache Iceberg活用入門　オープンテーブルフォーマットによるデータレイク＆データレイクハウス

Amazon

先日『Apache Iceberg活用入門　オープンテーブルフォーマットによるデータレイク＆データレイクハウス』が発売されました。これはオライリーから出版されている『Apache Iceberg: The Definitive Guide』を翻訳したものです。昨年蛯原さんからお誘いをいただき、私自身も年末年始にかけて日本語訳のレビューに参加していました。原著である『Apache Iceberg: The Definitive Guide』は紛れもない名著であり、その翻訳にレビュアーとして関わることができたことを光栄に思います。

また原著にはない章「Apache Hive SQLクエリエンジン」の執筆にも携わりました。これはApache Hiveをコンピュートエンジンやストレージエンジンとして使用するための機能群やその使い方をまとめたものです。原著では従来のデータレイクを構築するためによく使用されたHiveテーブルや、IcebergカタログとしてのHive Metastoreを説明するために「Hive」という固有名詞が50回以上登場しています。一方でクエリエンジンとしてのHiveはほぼ言及されていません。Hiveはいまや最も多くのIceberg関連機能を実装しているクエリエンジンの一つ*1です。せっかくなのでそれらを日本語版で紹介させてもらえないか提案してみたところ快諾していただき、佐野さんと協力して執筆・寄稿し、無事特別コンテンツとしてお届けすることができました。

HiveがカバーするIceberg関連機能

『Apache Iceberg活用入門』はデータウェアハウスとデータレイクの違いといった歴史的な洞察から始まり、Icebergの設計や機能、各種カタログの違いやハンズオン、本番利用時に考慮すべき運用上・セキュリティ上のポイントを幅広く紹介しています。またTrinoやHiveからIcebergテーブルを操作する方法やPyIcebergやIceberg Rustライブラリの使用方法、LINEヤフーでの活用事例といった日本語版限定コンテンツも充実しています。原著である「Apache Iceberg: The Definitive Guide」を読んだことのある方もない方も楽しめる内容となっているので、興味ある方はぜひ手に取ってみてください。

最後にこのような機会を与えてくださった蛯原さん佐野さん、サンプルを献本してくれたインプレス様、普段から仲良くしていただいているIceberg・OTFコミュニティの皆さまに感謝を申し上げます。ありがとうございました！

Apache Iceberg活用入門　オープンテーブルフォーマットによるデータレイク＆データレイクハウス

Apache Iceberg活用入門　オープンテーブルフォーマットによるデータレイク＆データレイクハウス

Amazon

関連記事

ランキング参加中
プログラミング

*1:二番目(おそらくApache Sparkの次)に豊富な機能群を実装しているという意見があります