『Google Cloud Dataflow で Google BigQuery へストリーミング ETL するの巻』で加工したアクセスログを集計し、一定の条件を満たすと Slack へアラートを飛ばすシステムを作りました。 Apache Beam(Scio) + Google Cloud Dataflow を用いてログの集計と監…

okumin.com のアクセスログを Google BigQuery で分析するために、ETL パイプラインを構築しました。 Apache Beam(Scio) + Google Cloud Dataflow を用いてログの加工及び BigQuery へのストリーミングインサートを行うという構成です。 この記事ではその全…

Java 版 Fluentd サーバ、Influent の新バージョンをリリースしました。

mstdn.okumin.com 5月分の請求額をまとめてみました。 マストドン弱小インスタンスのコスト感をお伝えします。

Java 製 Fluentd サーバ、Influent のベンチマーク第三弾です。 今回は Influent マルチスレッド化の成果と、Fluentd 0.14 で導入されたマルチプロセスワーカーの性能を計測しました。

先日公開された『Amazon Aurora: Design Considerations for High Throughput Cloud-Native Relational Databases』を読みました。 興味深かった部分や疑問に思った(あんまりわかってない)部分をまとめておきます。 AWS は詳しくないので、ところどころ間違…

簡単に作れそうだったので、GKE を使って自分専用のマストドンインスタンスを立ててみました。 せっかくなのでその構成を紹介します。 https://mstdn.okumin.com/

Java 版 Fluentd サーバである、Influent のベンチマーク第二弾です。 MessagePack デシリアライズ処理を改善したので、その効果を測定します。

scala.concurrent.Future を安全便利に扱うためのライブラリ、Failurewall の新バージョンをリリースしました。 テストコードやビルド設定のリファクタリングを除くと、変更は以下の二点です。 * StopwatchFailurewall 追加 * Scala 2.12 対応

Java 版 Fluentd サーバである、Influent のベンチマークを取ってみました。今回は第一弾で、今後も性能を改善しながら、都度ベンチマーク結果を載せていく予定です。