Contributions to Apache Hive 2023年に取り組んだ分散処理OSSに対する貢献のまとめです。今年はApache Hiveのコミュニティが活性化したのでHiveやTezに対する貢献が多めです。 この記事は『Distributed computing (Apache Spark, Hadoop, Kafka, ...)のカレ…

ZooKage 0.2.2をリリースしました。本バージョンを用いることで最新のHiveを手軽に試すことができます。

TreasureData Tech Talk 2022で発表した内容の補足です。Hive Distributed Profiling Systemの実装方法について、プレゼンテーション中に説明しきれなかった部分を解説します。なお本記事は「Distributed computing (Apache Spark, Hadoop, Kafka, ...) Adve…

HistoryLoggingServiceのAPIを用いてHive on Tezのメトリクスをデータプラットフォームに保存するという、ややマニアックなテクニックを紹介します。本記事は「Distributed computing (Apache Spark, Hadoop, Kafka, ...) Advent Calendar 2022」14日目の記…

先日行われたTreasure Dataのイベントにて登壇させていただきました。タイトルは『Hive Distributed Profiling System in Treasure Data』。

Kubernetes上にHadoopサンドボックス環境をコマンド一発で構築するツール、ZooKageをリリースしました。本記事では開発に至った経緯と基本的な使い方を紹介します。

平成三十一年四月十四日をもって株式会社ドワンゴを退職しました。 そのご報告と、ほぼプログラミング経験のない自分をエンジニアとして採用し、様々な経験を積ませていただいたドワンゴの皆様へ感謝をお伝えしたいと思います。

『Google Cloud Dataflow で Google BigQuery へストリーミング ETL するの巻』で加工したアクセスログを集計し、一定の条件を満たすと Slack へアラートを飛ばすシステムを作りました。 Apache Beam(Scio) + Google Cloud Dataflow を用いてログの集計と監…

okumin.com のアクセスログを Google BigQuery で分析するために、ETL パイプラインを構築しました。 Apache Beam(Scio) + Google Cloud Dataflow を用いてログの加工及び BigQuery へのストリーミングインサートを行うという構成です。 この記事ではその全…

Java 版 Fluentd サーバ、Influent の新バージョンをリリースしました。

mstdn.okumin.com 5月分の請求額をまとめてみました。 マストドン弱小インスタンスのコスト感をお伝えします。

Java 製 Fluentd サーバ、Influent のベンチマーク第三弾です。 今回は Influent マルチスレッド化の成果と、Fluentd 0.14 で導入されたマルチプロセスワーカーの性能を計測しました。

先日公開された『Amazon Aurora: Design Considerations for High Throughput Cloud-Native Relational Databases』を読みました。 興味深かった部分や疑問に思った(あんまりわかってない)部分をまとめておきます。 AWS は詳しくないので、ところどころ間違…

簡単に作れそうだったので、GKE を使って自分専用のマストドンインスタンスを立ててみました。 せっかくなのでその構成を紹介します。 https://mstdn.okumin.com/

Java 版 Fluentd サーバである、Influent のベンチマーク第二弾です。 MessagePack デシリアライズ処理を改善したので、その効果を測定します。

scala.concurrent.Future を安全便利に扱うためのライブラリ、Failurewall の新バージョンをリリースしました。 テストコードやビルド設定のリファクタリングを除くと、変更は以下の二点です。 * StopwatchFailurewall 追加 * Scala 2.12 対応

Java 版 Fluentd サーバである、Influent のベンチマークを取ってみました。今回は第一弾で、今後も性能を改善しながら、都度ベンチマーク結果を載せていく予定です。

壊れて動かなくなっていたおくみん公式サイト(okumin.com)を復活させました。 新しい okumin.com はただの静的サイトですが、裏では色々と新しいことに挑戦しています。

先日公開した Influent を、http://www.fluentd.org/ の Related Projects に載せていただきました。

『C++11/14 コア言語』を読んで C++ に惹かれ、使ってみたくなったので、Apache Kafka を実装してみました。

5分で導入！Failurewall で障害対策 from okumin 人がたくさんいてとても緊張しました。 関連リンク GitHub - failurewall/failurewall: Destroys failures. マイクロサービスにおける障害と Failurewall - Qiita

アルファブロガーになりたいです。