記録帳

クラウド、データ分析、ウイスキーなど。

データエンジニアリング

いい加減なクオラム(sloppy quorum)を良い加減に説明する

意外と暑さが控えめになってきた8月上旬、皆様いかがお過ごしでしょうか。 今日は、みんな大好きデータ指向アプリケーションデザインの第5章レプリケーションより、いい加減なクオラム(sloppy quorum)について説明しようと思います。データ指向アプリケー…

HBase触ってみた

皆さんこんばんは。花粉が舞いに舞っている昨今、いかがお過ごしでしょうか。 春といえば、OSSのDBが恋しくなります。ということで、HBaseを今日一日触っていたので、その記録を書こうかと思います。 というのも、オライリーのデータ指向アプリケーションデ…

入門 Avro 第2版

オライリーっぽいタイトルつけてみました。こんにちは。 最近はダラダラと過ごしてしまっていますが、今回はApache Avroをちょっと触ってみたのでその記事を書こうと思います。 Avroとは? 効率的にデータが保存できる、バイナリのフォーマットです。 いわゆ…

書籍「実践的データ基盤への処方箋」を読んだ

今年初めての5連続仕事を乗り切った皆様、お疲れさまでした。いかがお過ごしでしょうか。 今日は、私の業務にも関係している、データ基盤に関しての本を読んだので自分的なまとめを書いていこうと思います。 どんな本? 実践的データ基盤への処方箋〜 ビジネ…

データ分析系ツール総まとめ

皆さんあけましておめでとうございます。今年もどうぞよろしくお願いします。 前置き 最近、データ分析系のツールが巷に乱立していますね。あっちではAutoML搭載のツールが出た、こっちではOSSでデータ品質をチェックできるツールが出た、と毎日のようにアッ…

楽にデータエンジニアリングのレベルを上げてくれるツール、dbtを触ってみた

みなさんおばんどす。夏真っ盛りのお盆ですが、皆さんいかがお過ごしでしょうか。 最近TLなどで、良くdbtというツールを目にします。 データ変換の品質を高める、などという枕詞でよく紹介されていますが、結局のところ何ができるのか?に興味がわいたので、…