こんにちは。ZOZO研究所の山﨑です。
ZOZO研究所では、検索/推薦技術をメインテーマとした論文読み会を進めてきました。週に1回の頻度で発表担当者が読んできた論文の内容を共有し、その内容を参加者で議論します。
本記事では、その会で発表された論文のサマリーを紹介します。
目次
- 目次
- 検索/推薦技術に関する論文読み会
- 発表論文とその概要
- SIGIR
- [SIGIR 2005] Relevance Weighting for Query Independent Evidence
- [SIGIR 2010] Temporal Diversity in Recommender System
- [SIGIR 2017] On Application of Learning to Rank for E-Commerce Search
- [SIGIR 2018] Should I Follow the Crowd? A Probabilistic Analysis of the Effectiveness of Popularity in Recommender Systems
- [SIGIR-workshop eCom 2018] Towards Practical Visual Search Engine within Elasticsearch
- [SIGIR 2020] Models Versus Satisfaction: Towards a Better Understanding of Evaluation Metrics
- [SIGIR 2020] Studying Product Competition Using Representation Learning
- [SIGIR 2020] Understanding Echo Chambers in E-commerce Recommender Systems
- [SIGIR 2020] Cascade or Recency: Constructing Better Evaluation Metrics for Session Search
- KDD
- [KDD 2012] Summarization-based Mining Bipartite Graphs
- [KDD 2019] Applying Deep Learning To Airbnb Search
- [KDD 2020] Embedding-based Retrieval in Facebook Search
- [KDD 2020] Controllable Multi-Interest Framework for Recommendation
- [KDD 2020] On Sampled Metrics for Item Recommendation
- [KDD 2020] Personalized Image Retrieval with Sparse Graph Representation Learning
- [KDD 2020] Managing Diversity in Airbnb Search
- [KDD-workshop 2020] Lessons Learned Addressing Dataset Bias in Model-Based Candidate Generation at Twitter
- TheWebConf (旧WWW)
- RecSys
- その他
- [WSDM 2010] Anatomy of the Long Tail: Ordinary People with Extraordinary Tastes
- [VLDB 2013] Supporting Keyword Search in Product Database: A Probabilistic Approach
- [ACL-short 2018] ‘Lighter’ Can Still Be Dark: Modeling Comparative Color Descriptions
- [ECIR 2020] From MAXSCORE to Block-Max Wand: The Story of How Lucene Significantly Improved Query Evaluation Performance
- [MLSys 2020] Understanding the Downstream Instability of Word Embeddings
- [COMPUTER GRAPHICS Forum 2020] Interactive Optimization of Generative Image Modelling usingSequential Subspace Search and Content-based Guidance
- SIGIR
- まとめ
- おわりに
検索/推薦技術に関する論文読み会
ZOZO研究所では主に検索/推薦技術に関する論文読み会を進めてきました。論文読み会とは週に1度、1人が読んできた論文を発表し、その内容を議論する場です。
論文の選択基準は特に指定せず発表者に一任していましたが、SIGIRやKDDといったトップカンファレンスの論文が人気でした。
これまでに約30本の検索/推薦技術を中心とした幅広い分野の論文が社内で共有され、実際のプロダクト開発にも活かされています。
論文読み会はチームに閉じた形式ではなく、この取り組みに賛同する社員であれば誰でも参加できる形式を取りました。その結果、10〜20名程度が参加し、活発な議論が生まれました。
次章では、発表された論文のサマリーを紹介します。
発表論文とその概要
本章で掲載している画像は、特別な記載が無い限り全て原著論文より引用しています。
SIGIR
[SIGIR 2005] Relevance Weighting for Query Independent Evidence
- どんなもの?
- クエリに依存しない特徴を、クエリに関連するスコア(BM25など)に活用してランキングを調整する方法を提案した。
- こちらは、Elasticsearch 7.0のrank_featureの開発の基となった論文である。
- 先行研究と比べてどこがすごい?
- クエリに依存しない静的な特徴をBM25と組み合わせる手法の提案と、その手法がどの程度成功したかを測定した。
- 技術や手法のキモはどこ?
- 静的な特徴との組み合わせを3つの関数で実験した。
- 静的な特徴とクエリに関連するスコアの組み合わせに単純な独立性を仮定すると、うまく動作しないケースがあった。そのため、FLOEという手法を用いて解決した。
- どうやって有効だと検証した?
- ベースライン手法のBM25と静的な特徴の組み合わせの手法を比較した。
- TRECのデータを使用して、MAPが改善した。
[SIGIR 2010] Temporal Diversity in Recommender System
- どんなもの?
- レコメンドシステムにおける推薦アイテムの時間的な多様性を研究した。
- 同じ商品が繰り返し推薦され続けるシステムは時間的な多様性が低い、というイメージ。
- また、精度を大幅に減少させること無く、多様性を最大化するレコメンド手法を提案した。
- レコメンドシステムにおける推薦アイテムの時間的な多様性を研究した。
- 先行研究と比べてどこがすごい?
- レコメンドにおける推薦アイテムの時間的な多様性の重要性をアンケート調査によって明らかにした。
- 技術や手法のキモはどこ?
- レコメンドの多様性を促進するために、レコメンドモデルを時間経過に伴って切り替えた。
- どうやって有効だと検証した?
- 5週間の継続的なアンケート調査によって、レコメンドシステムの多様性がアイテムのレーティングに影響を与えることを発見した。
- また、Netflixのデータセットを使って複数のレコメンド手法に対する多様性の評価・比較をした。
[SIGIR 2017] On Application of Learning to Rank for E-Commerce Search
- どんなもの?
- ECサイト検索でランキング学習モデルを活用する際の効果的な特徴量とRelevancy(クリック率・カート追加率など)について調査した。
- また、クラウドソーシングを用いた結果がモデルに活用できるかを調査した。
- 先行研究と比べてどこがすごい?
- ECサイト検索において網羅的にランキング学習モデルの良し悪しを測った研究は、これまで存在しなかった。
- ECサイト検索にランキング学習モデルを導入する際の特徴量やRelevancyについて実践的な知見を展開した。
- 技術や手法のキモはどこ?
- ECサイト検索に有効な特徴量・モデル・Relevancyを評価する実験設計を行った。
- どうやって有効だと検証した?
- 実際の企業データを用いて検索結果のnDCGを測定する実験を行い、以下のことが分かった。
- LambdaMARTがモデルとして精度が良い。
- ECサイト検索の評価をクラウドソーシングで実現することは困難である。
- Relevancyは注文率が良い。
- 実際の企業データを用いて検索結果のnDCGを測定する実験を行い、以下のことが分かった。
[SIGIR 2018] Should I Follow the Crowd? A Probabilistic Analysis of the Effectiveness of Popularity in Recommender Systems
- どんなもの?
- アイテムの人気度(多くのpositiveな反応があるアイテム)はレコメンドシステム構築において取り除くべきバイアスかどうかを検証した。
- 先行研究と比べてどこがすごい?
- これまで、レコメンドシステムで人気度を「回避すべきバイアス」として扱うべきかの議論があった。
- 本研究ではレコメンドシステムにおいて、人気度が効果的となる条件とその逆の条件を特定した。
- 技術や手法のキモはどこ?
- 人気度の有効性は以下の3変数の相互作用に依存することを発見した。
- 適合性: アイテムが多くのユーザーに好まれやすいか
- 発見性: 好みのアイテムを発見しやすいか
- 評価するユーザーの判断: 好みのアイテムを評価しやすいか
- その上で、人気度がレコメンドにおいて効果的な条件とその逆の条件を特定した。
- 人気度の有効性は以下の3変数の相互作用に依存することを発見した。
- どうやって有効だと検証した?
- クラウドソーシングで構築した独自のデータセットを用いて実験を行い、理論的に導いた結論が観測結果とどの程度一致するか検証した。
- 一般的なデータセットからバイアスを除去し、バイアスがある状況との精度の違いを示した。
- レコメンドにおいて多くの場合、平均評価が評価数よりも効果的であることを発見した。
[SIGIR-workshop eCom 2018] Towards Practical Visual Search Engine within Elasticsearch
- どんなもの?
- Elasticsearch上で画像検索を実装し、その手法を説明した。
- 先行研究と比べてどこがすごい?
- より近いベクトルがより多くの文字列トークンを共有するように、画像特徴ベクトルを文字列トークンのグループにエンコードした。
- 技術や手法のキモはどこ?
- 画像特徴ベクトルをそのまま使うのではなく、転置インデックスに適した文字列の形にエンコードして検索可能な状態にした。
- どうやって有効だと検証した?
- Jet.comの約50万枚・1536次元の画像から、1,000件をランダムに検索したときの精度と速度を既存手法と比較し、改善されていることを示した。
[SIGIR 2020] Models Versus Satisfaction: Towards a Better Understanding of Evaluation Metrics
- どんなもの?
- ユーザーの行動データに対して最適化された評価指標が、ユーザー満足度の推定においても同様に機能するかどうかを調査した。
- 先行研究と比べてどこがすごい?
- 検索システムの評価指標の妥当性を、ユーザーの行動の予測の正確性とユーザーの満足度の2つの側面で整合性があるかを調査した。
- また、データセットも独自にフィールドスタディを行って作成した。
- 技術や手法のキモはどこ?
- C/W/Lフレームワークを用い、代表的な評価指標に対してユーザーモデルの精度とユーザー満足度との相関を調査した。
- どうやって有効だと検証した?
- 独自で作成したデータセットと公開されている検索行動データセットを用いた。
- ユーザーのクリック行動に合わせて最適化された評価指標は、ユーザー満足度の情報でキャリブレーションされたメトリクスと同等の性能を発揮できることが分かった。
[SIGIR 2020] Studying Product Competition Using Representation Learning
- どんなもの?
- 数百万商品のEC市場で、商品レベルの競合関係を購買情報を用いて分析した。
- 先行研究と比べてどこがすごい?
- 商品情報をEmbeddingすることにより、製品数で計算コストが線形に増大しないモデルを作成した。
- 技術や手法のキモはどこ?
- 商品情報はWord2vecと同様の手法でEmbeddingした。
- 競合関係は代替品と補完品を定量的に区別して分析した。
- どうやって有効だと検証した?
- 公開されたベンチマークで、既存手法と比較し、HitRateなどの指標で改善されていることを示した。
[SIGIR 2020] Understanding Echo Chambers in E-commerce Recommender Systems
- どんなもの?
- ECサイトのレコメンドでもエコーチェンバー効果が発生しているかを分析し、クリックに関しては傾向があることを観測した。
- 先行研究と比べてどこがすごい?
- 人工的に作成された環境ではなく、大規模なECサイトの実データを用いて初めてエコーチェンバー効果を評価した。
- 技術や手法のキモはどこ?
- ユーザーのクラスターの状態の時系列変化を分析することで、エコーチェンバーを観測した。
- どうやって有効だと検証した?
- Alibaba Taobaoのデータを用いて分析し、クリックに関してはエコーチェンバー効果の傾向が見られた。
- 購入に関してはその効果が緩やかになっているという結果も分かった。
[SIGIR 2020] Cascade or Recency: Constructing Better Evaluation Metrics for Session Search
- どんなもの?
- カスケード仮説と親近効果の両方を考慮したセッションベースの検索指標(RSMs)を提案した。
- カスケード仮説:順位の低い検索結果はユーザーの注目度が低いため、評価時には小さな重みを割り当てる方が良い
- 親近効果:ユーザーが同セッション内の後段で発行したクエリに、より大きな重みを割り当てる方が良い
- カスケード仮説と親近効果の両方を考慮したセッションベースの検索指標(RSMs)を提案した。
- 先行研究と比べてどこがすごい?
- 親近効果を考慮した検索指標を初めて提案した。
- 検索のユーザー満足度を測るデータを作成し公開した。
- 技術や手法のキモはどこ?
- 親近効果を「セッション内最後のクエリとその時に発行されたクエリの距離」として定義し、既存の評価のフレームワークに組み込んだ。
- どうやって有効だと検証した?
- 独自のユーザーの検索行動データセットを作成し、既存のセッションベースメトリクスと比較することで、ユーザー満足度との相関関係を明らかにした。
KDD
[KDD 2012] Summarization-based Mining Bipartite Graphs
- どんなもの?
- 二部グラフから真の関係情報を抽出し、その情報を利用して複数のタスクを解いた。
- 先行研究と比べてどこがすごい?
- 結果の解釈がシンプルかつ容易である上に、リンク予測問題やクラスタリングのタスクを精度良く解くことができた。
- 技術や手法のキモはどこ?
- 二部グラフに対し、両タイプのノードを同時にクラスタリングした上で、クラスタ同士の関係性を可視化した。
- クラスタリングはMDLを用いてエッジの追加削除を選択した。
- どうやって有効だと検証した?
- 人工データと一般のデータを用い、リンク予測問題とクラスタリングのタスクを従来手法よりも良い結果で解いて有用性を示した。
- また、クラスタ同士の可視化も従来手法よりも容易に解釈が可能となった。
[KDD 2019] Applying Deep Learning To Airbnb Search
- どんなもの?
- Airbnbがディープラーニング(DL)を検索ランキングへ適用するために行ったことと、それまでの歴史をまとめた。
- 下図のようにDLで成功するまでの長い道のりが記されている。
- 先行研究と比べてどこがすごい?
- Airbnbの中での検索ランキングモデルの歴史と失敗した取り組みまで紹介されている。
- 技術や手法のキモはどこ?
- 段階的にランキングモデルをどのように変更して改善したかが書かれている。
- ハンドメイドのスコアリング
- GBDTとFMをNNの入力にしたモデル
- DNNを適用
- 段階的にランキングモデルをどのように変更して改善したかが書かれている。
- どうやって有効だと検証した?
- 実際にオフラインとオンラインでテストを実施して精度向上を確認した。
[KDD 2020] Embedding-based Retrieval in Facebook Search
- どんなもの?
- Facebookは従来Boolean Matchの検索だったが、Embedding-basedな検索にした。
- その際に改善させたアーキテクチャなどを紹介している。
- 先行研究と比べてどこがすごい?
- Facebookが抱えていた、テキスト情報だけでは検索がうまく行われない問題を解決した。
- Embedding-basedな検索にする際、テキスト情報と付加情報(位置情報やユーザー情報)をうまく組み合わせた。
- 技術や手法のキモはどこ?
- テキスト情報と負荷情報を組み合わせたEmbedding-basedな検索システムを開発した。
- 損失関数にTriplet lossを使用しており、その際のHard Negative Samplingについても検索という観点から考察した。
- どうやって有効だと検証した?
- 実際にオンラインでA/Bテストを行い、有効であることを検証した。
[KDD 2020] Controllable Multi-Interest Framework for Recommendation
- どんなもの?
- ユーザーの商品のクリックのシーケンス情報から興味情報に応じた推薦結果を出力する。
- その結果の多様性をコントロール可能なフレームワークを提案した。
- 先行研究と比べてどこがすごい?
- 複数の関心を抽出できる研究は存在していたが、それと同時に出力結果の多様性をコントロールできるようにした。
- 技術や手法のキモはどこ?
- 下図のように複数の興味抽出の機構と、得られた興味のベクトルに似たアイテムを多様性を考慮して選択する機構を構築した。
- どうやって有効だと検証した?
- Amazon BooksやTaobaoの商品データを用いて、既存手法に比べてRecall/nDCG/HitRateが改善されていることを示した。
[KDD 2020] On Sampled Metrics for Item Recommendation
- どんなもの?
- Recall/Precision/nDCGといった評価指標をサンプリングで計算すると推定値にバイアスが乗る可能性を指摘した。
- また、そのバイアスを補正する方法を提案した。
- 先行研究と比べてどこがすごい?
- 多くのレコメンドアルゴリズムの論文が採用している評価指標の危険性を指摘した。
- 技術や手法のキモはどこ?
- 複数のデータセットで、サンプリングによって評価指標にバイアスと不安定性が存在することを示した。
- どうやって有効だと検証した?
- レコメンドアルゴリズムの出力結果をサンプリングされた方法で計算し、サンプリングを使用しない手法と比較して強いバイアスが存在することを示した。
- バイアス補正の方法も、同様の実験で動作することを示した。
[KDD 2020] Personalized Image Retrieval with Sparse Graph Representation Learning
- どんなもの?
- Adobe Stockでの画像検索のパーソナライズを改善した。
- 先行研究と比べてどこがすごい?
- 画像検索のパーソナライズの精度を、画像間の類似度を用いて疎なユーザーと画像間の関係を補強したグラフ構造に対してのGCNを用いて向上した。
- 技術や手法のキモはどこ?
- GCNを用いて画像埋め込みにユーザー行動情報を反映した。
- 疎なユーザーと画像間の関係を画像の類似度の情報を用いることで補強した。
- どうやって有効だと検証した?
- Adobe Stockデータでクリックされるのポジションの平均値とRecallが改善されていることを示した。
[KDD 2020] Managing Diversity in Airbnb Search
- どんなもの?
- AirbnbではDLのランキングモデルとは別に多様性のモデルを開発しており、その取り組みの歴史をまとめた。
- 先行研究と比べてどこがすごい?
- Airbnbの多様性の手法について、ヒューリスティックベースの手法からDNNに至るまでの手法をまとめている。
- 技術や手法のキモはどこ?
- 多様性の評価尺度を、Mean Listing RelevanceやLocation Diversityなど様々な独自指標で定義して実験している。
- モデルはTwo Towerで、かつ各Embedding間での距離を遠ざけている。
- どうやって有効だと検証した?
- オフライン評価では、通常の検索の評価指標であるnDCGと多様性の両方が改善するモデルを採用した。
- オンライン評価ではnDCGやCV(予約数など)を計測し、多様性改善によって過去数年で最大の改善が実現されていることを示した。
[KDD-workshop 2020] Lessons Learned Addressing Dataset Bias in Model-Based Candidate Generation at Twitter
- どんなもの?
- 2段階のレコメンドシステムにおいて、1段階目のCandidate Generation(以下CG)に影響するデータセットのバイアスについて調査した。
- また、ランダムランブリングでバイアスを軽減する方法を示した。
- 先行研究と比べてどこがすごい?
- 従来のバイアス除去の技術ではCGにおいて効果が薄かった。
- 本手法ではCGに効果的なバイアス軽減方法を提案した。
- 技術や手法のキモはどこ?
- CG後にも2段階目でのランカー学習のために負例対象を残す必要があるため、Implicit Negativeな結果を負例として扱う。
- さらに負例のサンプリングを行うことで、明らかな負例を少しだけ残しておく。
- 結果として、少量の明らかな負例・正例に近い負例・正例から構成された候補集合の作成を見込むことができる。
- どうやって有効だと検証した?
- オフラインでは上記手法を使用してROC-AUCを計測して改善することを確かめた。
- オンラインではTwitterでテストを行い、Fine-tuningしたモデルでコンバージョン(お気に入り登録・リツイート数)が改善されていることを示した。
TheWebConf (旧WWW)
[WWW 2020] NERO: A Neural Rule Grounding Framework for Label-Efficient Relation Extraction
- どんなもの?
- 関係抽出のタスク(下図参照)において、アノテーションされたルールにマッチしない文章のラベリングルールも学習することで精度(F1値)向上を実現した。
- 先行研究と比べてどこがすごい?
- 文章単位でのラベルを人手でアノテーションすること無く、ラベル付けのルールを学習できる。
- できるだけ少ない労力で精度向上できるフレームワークを提案した。
- 技術や手法のキモはどこ?
- 下図(D)のようにハードマッチしない文章に擬似ラベルを割り当てて学習する。
- どうやって有効だと検証した?
- 文章とアノテーションされた関係のデータセットに対してF値で評価したところ、従来手法に比べて改善されていることを示した。
- また、10分の1程度のアノテーションの時間で従来と同程度の精度を達成した。
[WWW 2020] The Difference Between a Click and a Cart-Add: Learning Interaction-Specific Embeddings
- どんなもの?
- ユーザーへの商品のレコメンドの精度を向上した。
- ユーザーがある商品をクリックをした後とカートに商品を追加した後にレコメンドする商品は、それぞれ異なることが望ましいという仮説に則ってモデル化した。
- 先行研究と比べてどこがすごい?
- 過去に閲覧などのアクションを起こした商品の情報だけではなく、そのアクション情報も組み合わせた埋め込み表現を使用した。
- 技術や手法のキモはどこ?
- アクションとアイテムのペアを系列とみなして学習した。
- (l1, click), (l2, click), ...というような系列を学習する(l1、l2はアイテムを表す)。
- どうやって有効だと検証した?
- オフライン評価はEtsyの1年間のログを用いて、過去に購入されたアイテムをどの程度捕捉できているかという指標で比較し、改善されていることを示した。
- オンライン評価は実際に7日間A/Bテストを行い、CV率が向上していることを示した。
RecSys
[RecSys 2018] Calibrated recommendations
- どんなもの?
- オフライン評価で精度に最適化されたモデルが、ユーザーの関心のない分野をレコメンドしてしまう問題がある。
- 映画のジャンルなどのカテゴリに偏りがあるレコメンドシステムを、キャリブレーションすることで上記問題を解決する新しいリランキング手法を提案した。
- 先行研究と比べてどこがすごい?
- ジャンルの多様性を考慮した、レコメンドシステムの出力を後処理するシンプルな手法を提案した。
- 技術や手法のキモはどこ?
- アンバランスなレコメンドを補正するための劣モジュラ性を持つキャリブレーションメトリックを提案した。
- どうやって有効だと検証した?
- MovieLensのデータを対象に、レコメンドシステムにジャンルの多様性を補完する仕組みを導入した。
- その結果、Recallは減少するが多様性が改善されることを観察した。
[RecSys 2019] A Pareto-Eficient Algorithm for Multiple Objective Optimization in E-Commerce Recommendation
- どんなもの?
- トレードオフの関係にある複数の目的関数(例:GMV vs. CTR)のランキング学習に対して、パレート効率的な解を算出するフレームワークを提案した。
- 先行研究と比べてどこがすごい?
- 多目的なランキング学習に対して、理論的にパレート効率性の保証のあるアルゴリズムのフレームワークを考案した。
- 先行研究ではルールベースかヒューリスティックな探索のため、パレート効率性の保証がない。
- 実際のECサイトのインプレッション・クリック・購入などの情報から構成されるデータを作成して公開した。
- 技術や手法のキモはどこ?
- モデルパラメータと重みを交互に最適化することで、理論的に保証のある解が得られる。
- どうやって有効だと検証した?
- 独自に作成したオープンなECのデータ(EC-REC)を用いて、GMVとCTRの2つの目的関数で実験して有効性を検証した。
その他
[WSDM 2010] Anatomy of the Long Tail: Ordinary People with Extraordinary Tastes
- どんなもの?
- アイテムを人気度順にソートしたとき、テール部分に属するアイテムの重要性を示した。
- ニッチな商品は一部のユーザーしか見ないのではなく、多くのユーザーがニッチな商品を少しずつ調べている、ということを示した。
- 先行研究と比べてどこがすごい?
- 先行研究では、ニッチな商品は一部のユーザーにしか見られないという仮定が強かった。
- 多くのユーザーがトップのアイテムもテールのアイテムも両方欲している、という仮説を立ててこれが正しいことを証明した。
- 技術や手法のキモはどこ?
- ユーザー満足度・ユーザーのEccentricity(どれだけニッチな商品を見ているか)を定義した。
- テール商品が売上に関連することを示すユーザー行動をモデル化した。
- どうやって有効だと検証した?
- ユーザー満足度・ユーザーのEccentricityを定義し、従来の仮説だとNetflixやYahoo! Searchの実データの結果に合わないことを示した。
- テールの商品を補完することで、間接的に売上が向上することを理論的に検証した。
[VLDB 2013] Supporting Keyword Search in Product Database: A Probabilistic Approach
- どんなもの?
- 「安価なゲーム用PC」のようなキーワード検索を用いて、構造化された製品情報に対する検索を最適化する方法を研究した。
- 先行研究と比べてどこがすごい?
- 「安価」といった曖昧なユーザーの嗜好にマッチする製品のランキングを作るためのブラックボックスでない確率モデルを初めて提案した。
- 確率モデルを用いたキーワード検索以外のアプリケーションも提案した。
- 技術や手法のキモはどこ?
- ユーザーの検索クエリと商品のスペックのギャップを解決する新たな確率モデルを提案した。
- また、そのモデルをユーザーレビューや過去の行動ログを使って改善した。
- どうやって有効だと検証した?
- Best BuyとWalmartの商品データとレビューと検索のログデータを用いて、検索結果のnDCGを評価して従来手法よりも改善されていることを示した。
[ACL-short 2018] ‘Lighter’ Can Still Be Dark: Modeling Comparative Color Descriptions
- どんなもの?
- 色の比較級(darkerなど)は元の色が無いとRGBで表すことができないが、基準の色と比較級のみを与えることでRGB空間での方向を表した。
- 先行研究と比べてどこがすごい?
- 基準となる色をベースとして比較級をRGBのベクトルで表現した。
- 直接的な色の比較級の情報が必要なく、基準の色とその比較級があれば良い。
- 技術や手法のキモはどこ?
- 元の色と比較級を与えると、元の色を起点にRGB中で色の変化を表すベクトルを出力する。
- どうやって有効だと検証した?
- 色の変化を色差とコサイン類似度を用いて評価した。
[ECIR 2020] From MAXSCORE to Block-Max Wand: The Story of How Lucene Significantly Improved Query Evaluation Performance
- どんなもの?
- Block-Max WANDがLucene 8に実装されるまでの道のりと性能測定をまとめた。
- 先行研究と比べてどこがすごい?
- アカデミックなアルゴリズムを利用者が既に存在するライブラリに実装した。
- 技術や手法のキモはどこ?
- Luceneのインデックスのフォーマットやスコア計算処理を既存のインデックスに影響が出ないように変更した。
- どうやって有効だと検証した?
- ClueWebのデータセットを用いて計算時間が改善することを確認した。
[MLSys 2020] Understanding the Downstream Instability of Word Embeddings
- どんなもの?
- モデルをどの程度の頻度で更新するのが良いかをモデルの学習の不安定さから解釈しようとした。
- 単語埋め込みの安定性とメモリのトレードオフを示し、不安定性のための新たな尺度を提案した。
- 先行研究と比べてどこがすごい?
- 上流のモデルの固有値の不安定性(EIS)を測ることで、下流のモデルの不安定性にも強い相関があることを示した。
- また、安定性とメモリのトレードオフはナレッジグラフの埋め込みにも適用できることを示した。
(上記画像はslideより引用)
- 技術や手法のキモはどこ?
- 下流のモデルの不安定性にも強い相関がある上流のモデルの固有値の不安定性(EIS)を提案した。
- また、メモリのパラメータが下流モデルの不安定性に影響を受けることを示した。
- どうやって有効だと検証した?
- メモリのパラメータを変更することで不安定性を改善することを示した。
- ナレッジグラフの埋め込みについても同様に改善することを示した。
[COMPUTER GRAPHICS Forum 2020] Interactive Optimization of Generative Image Modelling usingSequential Subspace Search and Content-based Guidance
- どんなもの?
- 学習済みのGANとインタラクティブな入力を用いて目的の画像を生成するシステムを開発した。
- 本システムでは以下のようなツールなど(画像編集ツールなども可能)を用いて、ユーザーは自由に重みを選択できる。
- その重みに応じた画像を表現できる。
- 先行研究と比べてどこがすごい?
- 既存のインタラクティブなシステムでは、独自のアーキテクチャや追加のデータが必要だった。
- 本システムは任意のモデルに追加のデータやアーキテクチャ無しで自分の意図を表現できる。
- 技術や手法のキモはどこ?
- ユーザーの入力に基づいたベクトルをサンプリングして、高次元空間を効率よく逐次最適化できる。
- どうやって有効だと検証した?
- 本手法を様々な生成画像モデリングアプリケーションで実験し、既存手法のiGANよりも優れた性能を示した。
まとめ
論文読み会では多くの方に集まっていただき、多くの有益な情報を共有できました。
最後に、本記事でご紹介した論文のアブストラクトのWord Cloudを作成してみました。
「search」「recommendation」以外にも「user」や「model」という文字も大きく表示されていますね。
本記事では、ZOZO研究所が検索や推薦技術で取り組んでいるアカデミックな調査の概要をお伝えしました。本記事を通して、ご興味のある論文を見つけた際には是非とも原著論文を読むことをお勧めします。
おわりに
ZOZO研究所では検索エンジニア・MLエンジニア・サーバサイドエンジニアのメンバーを募集しております。今回紹介した検索/推薦技術に興味ある方はもちろん、幅広い分野で一緒に研究や開発を進めていけるメンバーも募集しています。
ご興味のある方は、以下のリンクからぜひご応募ください!