Digdag

Digdagのワークフローを動的に実行できる仕組みの導入

はじめに こんにちは、MA基盤の@gachi-muchi-engineerです。 私達のチームでは、Digdagを利用してユーザーにメールを配信したり、データ連携を定期的に行うような様々なワークフローを運用しています。今回その中でも特定の対象者にポイントを付与したり、メ…

オンプレDWHをBigQueryに移行した話

はじめに こんにちは。MA部MA施策・運用改善チームの辻岡です。MA部では、ZOZOTOWNのメルマガ・アプリPUSH通知などの配信・分析等の用途で約数十TBのデータを運用しています。今回は長年MAのデータ基盤として利用してきたオンプレDWHをBigQueryに移行したお…

Goプログラム実行時間の短縮

こんにちは。生産プラットフォーム開発部の中嶋です。生産プラットフォーム開発部はアパレル生産のDXを進めている部門です。具体的には服作りのIT化を含めたアパレル生産の効率化の促進と「生産支援」のシステムを主にGoで開発しています。今回はその運用の…

楽々スケール Digdag on GKE Autopilot の紹介とその運用Tips

こんにちは、MA基盤チームの田島です。私達のチームでは複数のワークフローエンジンを利用し、メールやLINEなどへの配信を含むバッチ処理を行っていました。今回それらのワークフローエンジンをすべてDigdagに統一しました。そして実行環境としてGKEのAutopi…

リアルタイムマーケティングシステム検証環境の構築ビフォーアフター

はじめに こんにちは。2020年5月に入社しましたMA基盤チームの辻岡です。 MA基盤チームでは、マーケティングに関わる様々なプロダクトやシステムの施策開発・運用を行っています。その中の1つにリアルタイムマーケティングシステムというものがあります。 こ…

ケアラベル発行の完全自動化のアプローチと効果について

マルチサイズプラットフォーム事業おけるデジタルトランスフォーメーション(DX)の取り組みの一つである、ケアラベル作成自動化システムの開発・導入の事例を紹介します。

TalendをDigdagとEmbulkに移行した

はじめまして! ZOZOテクノロジーズ開発部の平田(@TrsNium)と申します。 業務ではデータ基盤の開発・運用を行っています。 よろしくお願いいたします。 今回複数のツールが混在していたデータ基盤を「Digdag・Embulk」に統一したので、その取り組みを紹介…

DigdagとEmbulkを利用してBigQueryにRDS(Aurora、MySQL)のマスタデータを同期する

Treasure Data製のOSSであるDigdagとEmbulkと組み合わせることで、効率的にRDS(Aurora、MySQL)のデータをBigQueryに同期するシステムの構築を実現しました。概要図だけでなく、具体的な設定ファイルもほぼ公開しています。

カテゴリー