Google Cloud Dataflow で Google BigQuery へストリーミング ETL するの巻

okumin.com のアクセスログを Google BigQuery で分析するために、ETL パイプラインを構築しました。
Apache Beam(Scio) + Google Cloud Dataflow を用いてログの加工及び BigQuery へのストリーミングインサートを行うという構成です。
この記事ではその全体像と個々のコンポーネントの簡単な説明を行います。

Influent 0.3.0 をリリースしました #fluentd

Java 版 Fluentd サーバ、Influent の新バージョンをリリースしました。

マストドンぼっちインスタンス on GCP のランニングコスト #mastodon

mstdn.okumin.com 5月分の請求額をまとめてみました。マストドン弱小インスタンスのコスト感をお伝えします。

Influent ベンチマーク - Part 3 #fluentd

Java 製 Fluentd サーバ、Influent のベンチマーク第三弾です。

今回は Influent マルチスレッド化の成果と、Fluentd 0.14 で導入されたマルチプロセスワーカーの性能を計測しました。

Amazon Aurora のアーキテクチャまとめ

先日公開された『Amazon Aurora: Design Considerations for High Throughput Cloud-Native Relational Databases』を読みました。
興味深かった部分や疑問に思った(あんまりわかってない)部分をまとめておきます。

AWS は詳しくないので、ところどころ間違っているかもしれません。

今流行りの #mastodon on Google Container Engine

簡単に作れそうだったので、GKE を使って自分専用のマストドンインスタンスを立ててみました。 せっかくなのでその構成を紹介します。

https://mstdn.okumin.com/

Influent ベンチマーク - Part 2 #fluentd

Java 版 Fluentd サーバである、Influent のベンチマーク第二弾です。

MessagePack デシリアライズ処理を改善したので、その効果を測定します。