ZOZO Researchと同志社大学の共同研究 〜研究の際に配慮した点と研究成果の紹介〜

OGP

こんにちは。株式会社ZOZO NEXTにあるZOZO ResearchのApplied MLチーム所属の後藤です。社内の様々な課題を機械学習を活用して解決する仕事に取り組んでいます。

弊社(当時は株式会社ZOZOテクノロジーズ)では2019年1月より、ZOZO Researchと同志社大学 桂井研究室の共同研究を開始しました。本記事では、共同研究を行う際のポイントと、その成果を紹介します。

目次

はじめに

ZOZO ResearchはZOZOグループが保有するファッションに関する多様な情報資産を活用し、「ファッションを数値化する」ことをミッションとしている研究組織です。

これまでに、プロダクトの運用を通じて得られたデータの公開や、ファッション特有の課題設定を機械学習を使って解く研究論文などを発表してきました。

それに並行して、大学との共同研究も進めています。現在までに同志社大学、九州工業大学、九州大学、東京大学、早稲田大学、上智大学、イェール大学の研究室との共同研究を行ってきました。

本記事では、その中でも、同志社大学 桂井研究室との共同研究の取り組みにフォーカスします。

同志社大学 桂井研究室は、同志社大学 理工学部 インテリジェント情報工学科 桂井麻里衣准教授の研究グループです。ビッグデータを活用したデータマイニング、ソーシャルネットワーク解析、マルティメディア処理などをテーマに様々な情報技術を研究しています。

iml.doshisha.ac.jp

そのような桂井研究室の強みとZOZO Researchの情報資産をかけ合わせることにより、ファッションコーディネートアプリ「WEAR」のデータから「ファッションを数値化」する方法の研究を進めることにしました。

corp.zozo.com

なぜ大学との共同研究を行うのか

なぜ大学との共同研究を行うのか、その理由は「これまでにない価値を持つ発明をし、会社の非線形成長を促進させるため」です。既存プロダクトの一部の最適化や運用コストの軽減など、研究開発の課題は社内に山程あります。プロダクトの品質を上げるために、時間と労力をかけてこれらの課題を解決し続けるべきですが、会社が大きく成長するためにはこれまでにない価値をもつ発明をする必要があります。ZOZO Researchは「ファッションの数値化」を行うことで、この課題に挑戦しています。ファッションの数値化には、高度な情報処理技術と独創的なアイデアが必要です。大学と共同研究を進めることで技術力と発想力を備えた人たちとのコミュニケーションを生み、ZOZOの情報資産を使ったイノベーションを創出できる環境を目指しています。

共同研究を行う際のポイント

本章では、共同研究の道のりを振り返った際に、実施して良かった点を紹介します。

社内の喫緊の課題を研究テーマにしない

桂井研究室と研究テーマを決める際は、社内の喫緊の課題や現場の声を押し付けないように気をつけました。会社のKPIに紐付いた研究課題は、自由度が低く作業色の強いものになってしまいがちだからです。

大学は高い専門性と発想力を有した人材の宝庫なので、まずは自由な発想で課題設定をしていただくのが良いでしょう。一方で、ZOZO Research側はその自由な発想を、ビジネスへの応用や社内活用の文脈に位置づけるといった役割に回ります。

学生からの発案を大切にする

ほとんどのテーマは、学生の卒業研究からスタートし、国際会議や論文誌への投稿へと発展させていくというパターンで進めてきています。

学生と議論していると、私たちが考えもしなかったアイデアや観点が飛び出してくることがあります。例えば、次の章で述べるアニメ画像からコスプレ衣装の画像を得るといった課題は、一見すると奇をてらったものに見えます。しかし、テクスチャや形状の異なるものを対応付ける技術だと考えると、ファッションの領域では衣服画像とモデル着用画像の対応付けといった応用例が考えられます。一見価値がわかりにくいアイデアもありますが、なぜそのようなアイデアが出たのか深く考え、議論と実験を積み上げていくと、論文として成立する内容に磨かれていきます。

先生と学生を社内セミナーに招待して講演会を開く

共同研究の中で得られた知見や成果を、論文の著者本人に解説してもらう社内セミナーを三度開きました。学会や論文誌への対外的な発表だけに留めず、社内で議論することによって、プロダクトへの応用や他の分野での研究のインスピレーションとなっていきます。

共同研究の実績

本章では、前述の共同研究から生まれた、具体的な研究内容を紹介します。

フィット感の定量化の研究

衣服着用時のシルエットはファッションスタイルの印象を左右する要素の一つです。スキニーパンツとワイドパンツの2例を考えると、同じボトムでも身体に対する衣服のシルエットが占める領域が大きく異なります。このフィット感を定量化できれば、WEARのスタイリングを検索する際の軸として利用したり、ユーザーの嗜好や商品推薦にも利用できます。

Silhouette

具体的には、WEARの投稿画像に対して、3D人体モデルとセマンティックセグメンテーションのモデルを適用させます。身体と衣服の画像上を占める領域を抜き出した上で、Tightness Indexとして以下のような指標を定義します。すると、数値が大きいほど身体と衣服の領域が近いことを意味し、タイトな着こなしであると判断できます。

参考文献

池田宗也,桂井麻里衣,真木勇人,後藤亮介,“身体と被服のサイズ関係に基づく着用シルエットの印象推定,” 第11回データ工学と情報マネジメントに関するフォーラム (DEIM2019), A1-1, 長崎,2019年3月.

スタイルタグの関係性の可視化の研究

WEARの投稿には投稿内容を表現するためのタグが投稿者自身によって付与されます。これにより、同じタグが付けられた投稿同士を結びつけることができ、情報を絞り込む際に有用な手段となります。このタグの中には、ファッションスタイルを表現するタグが含まれており、共起関係に注目すると、スタイル間の関係性が抽出できると考えられます。

この研究では、画像特徴量が近い投稿同士は、視覚的に近いファッションスタイルを有しているという仮説のもと、類似画像グループのタグの共起回数に基づいてタグネットワークを構築しました。その結果、視認しやすく、コミュニティ検出がしやすいタグネットワークが構築できることがわかりました。

Style_tag Style_tag2

参考文献

上村幸汰,桂井麻里衣,真木勇人,後藤亮介,“タグ付き画像を用いたファッションスタイルの関係性の可視化,” 第11回データ工学と情報マネジメントに関するフォーラム (DEIM2019), E8-2, 長崎,2019年3月.

類似ブランドの関係可視化と検索インタフェースの研究

「ファッションブランドAとBが似ている」と言うとき、似ているという尺度には様々な観点が考えられます。また、好みのブランドに似ているブランドを推薦した際に、そのブランドのコンセプトがきちんと伝わらなければ興味を持つことは難しいでしょう。そこでブランド類似度の可視化手法とユーザーインタフェースを提案する研究を行いました。

WEARの投稿に付与されたタグのうち、ooコーデ/ooスタイルといったスタイリングの意味を表すタグに限定し、着用されている商品のブランドを特徴づける実験をしました。その結果、得られたブランド類似度ネットワークは適度に疎なネットワークとなり、高い視認性を持つことがわかりました。同時にブランドのコンセプトが確認可能なユーザーインタフェースを実装しています。

interface

参考文献

Natsuki Hashimoto, Marie Katsurai, and Ryosuke Goto, "A Visualization Interface for Exploring Similar Brands on a Fashion E-Commerce Platform," Proceedings of 2021 International Conference on Web Services (ICWS2021), pp. 642–644.

アニメ画像からコスプレ衣装画像を生成する研究

衣服単体の画像からモデル着用画像に変換するなど、ファッションECの分野では画像ドメインを変換したものが有用なシチュエーションがあります。敵対的生成ネットワークはこのようなタスクを実施する際の有望な選択肢となります。しかし、学習をうまく進める方法として膨大な数の手法が提案されており、ファッションのドメインではどのようなものが有効か自明ではありません。

この研究ではアニメキャラクターの画像から、コスプレ衣装の画像を生成するというタスクの提案と、その際に有用なGANアルゴリズムの試行錯誤をしています。また、Webサイトからスクレイプしたノイジーなデータをどのように整形するとうまくいきやすいかを調べ、方法論としてまとめています。

anime2cosplay

この研究はGIGAZINEにも取り上げられ話題となりました。 gigazine.net

参考文献

Koya Tango, Marie Katsurai, Hayato Maki, Ryosuke Goto, "Anime-to-Real Clothing: Cosplay Costume Generation via Image-to-Image Translation", arXiv:2008.11479.

最後に

本記事では、共同研究を行う際のポイントと、ZOZO Researchと同志社大学 桂井研究室による共同研究の成果の概要をお伝えしました。

引き続き、桂井研究室とはWEARのデータを活用したこれまでにない研究を行っていきます。「ファッションを数値化する」をミッションに、斬新な着想を形にしてファッションテックの発展に貢献していきたいと考えています。

ZOZO Researchでは、機械学習の社会実装を推し進めることのできるMLエンジニアを募集しています。今回紹介した共同研究以外にも、検索/推薦/画像認識などプロダクトで活用する機械学習技術の開発を進めていけるメンバーを募集しています。

ご興味のある方は、以下のリンクからぜひご応募ください。

hrmos.co

hrmos.co

hrmos.co

カテゴリー