Airflow

大公開!バッチアプリケーションの品質を高めるZOZOの『バッチ開発ガイドライン』

ZOZOでは開発ガイドラインを用いてシステム品質を担保しています。今回バッチ開発用のガイドラインを作成したのでその紹介をします。

Cloud Composerにデータマート集計基盤を移行しました

こんにちは、MLデータ部データ基盤ブロックの奥山(@pokoyakazan)です。趣味の範疇ですが、「ぽこやかざん」という名前でラジオ投稿や大喜利の大会に出たり、「下町モルモット」というコンビで週末に漫才をしたりしています。私は普段、全社データ基盤の開…

Cloud Composer 2上でApache Airflow 2のワークフローを実装する

はじめに こんにちはZOZOデータサイエンス部MLOpsブロック松岡です。 本記事では先日リリースされたGCP(Google Cloud Platform)Cloud Composerの最新バージョンCloud Composer 2について紹介します。 ZOZOTOWNでは、多種多様な商品が毎日新たに出品されて…

Cloud Composerによるデータバリデーション ~常に正確なデータ集計を実現するために~

こんにちは。ECプラットフォーム部データエンジニアの遠藤です。現在、私は推薦基盤チームに所属して、データ集計基盤の運用やDMP・広告まわりのデータエンジニアリングなどに従事しています。 以前、私たちのチームではクエリ管理にLookerを導入することで…

近似最近傍探索Indexを作るワークフロー

はじめに こんにちは。ZOZO研究所のshikajiroです。主に研究所のバックエンド全般を担当しています。ZOZOでは2019年夏にAI技術を活用した「類似アイテム検索機能」をリリースしました。商品画像に似た別の商品を検索する機能で、 画像検索 と言った方が分か…

カテゴリー