こんにちは、ZOZO NEXTでFashion Tech Newsの開発を担当している木下です。先日、弊社が運営するオウンドメディアのFashion Tech Newsにおいて英語版が公開されました。本記事では、機械翻訳サービスの比較検討、翻訳精度を向上するための調整、スムーズな翻訳を実現する仕組みについてご紹介します。比較検討の結果GPT-4を採用したため、GPT-4の本番運用を検討されている方の参考にもなるかと思います。
背景
「Fashion Tech News」とは、2018年に運用を開始したZOZO NEXTのオウンドメディアです。ファッションテック領域へ挑戦を続けるZOZO NEXTが、独自の視点でファッション × テクノロジーのニュースを提供しています。
Fashion Tech Newsは記事本数の増加やPV数の増加で、メディアとしての価値が向上していました。そのような状況の中、より多くの方々に読んでいただけるように、また日本のファッションテックの情報を世界に発信することを目的に、記事を英語翻訳して公開することとなりました。限られたリソースの中で実現するために、機械翻訳を行なった上で人によるチェックを行う体制をとることとしました。
本番運用までに以下のステップで進めました。
- 機械翻訳サービスの比較検討
- 翻訳精度を向上するための調整
- スムーズな翻訳を実現する仕組みの導入
翻訳の全体像
結論としては、以下のような流れで翻訳が行われます。記事はmicroCMSと呼ばれるCMSで管理されています。
- 日本語の記事の公開をトリガーに翻訳し、英語の記事を作成
- CMS上でネイティブチェックを行う
- 編集者による最終チェックを行い公開する
機械翻訳サービスの比較検討
技術選定に当たっては一般的な機械翻訳サービスに加えて、大規模言語モデル（LLM: Large Language Model）も話題になっていたため比較に加えました。機械翻訳サービスの選定に当たって比較したポイントは以下です。
- 文意が正しいか
- 翻訳抜けがないか
- 固有名詞が正しいか
- 自然な英語表現か（面白い文章か）
- 料金
以下に比較表を示します。実際に翻訳結果を比較し、候補を絞り込んだ上で、ネイティブの方々からの評価をまとめたものです。表以外のサービスとして、GoogleのCloud Translation, Amazon Translate, Microsoft Tranlator, GPT-3.5も試しました。
| 比較項目 | DeepL | GPT-4 | DeepLで翻訳し、GPT-4で編集 |
|---|---|---|---|
| 文意が正しいか | △ | ○ | × |
| 翻訳抜けがないか | △ | ○ | △ |
| 固有名詞が正しいか | ○ | △ | ○ |
| 自然な英語表現か（面白い文章か） | △ | ○ | ○ |
| 1年分（400万文字）の料金 (¥150/$1換算) |
¥18,000 | ¥41,000 | ¥51,000 |
| その他の特徴 | - 用語集 - 語調切り替え - 専門用語等の翻訳が正確 |
- 漢字の読みが比較的正確 | |
| 総合評価 | △ | ○ | △ |
※翻訳抜けとは、文章の一部や一文が翻訳されず、すっぽりと抜けてしまうことを指します。一度に長い文章を翻訳すると翻訳抜けが発生しやすいため、短い文章に分割して翻訳する工夫が必要です。ただ一方で短い文章ごとの翻訳では、表記揺れが発生しやすいという問題があります。
メディアとして正しい情報を伝える必要があるため、文意が正しく翻訳されなければいけません。その上で、読み物として文章が面白いことも必要になってきます。ネイティブチェックでは文章の面白さに重点が置かれており、ネイティブではない自分にとって印象的な視点でした。ネイティブチェックの結果、GPT-4が高く評価されました。
DeepLの強みである専門用語の正確な翻訳と、GPT-4の強みである自然な英語表現という2つの長所を活かし、DeepLで翻訳した文章をGPT-4で編集する方法も試しました。しかしDeepLで正しく翻訳できなかった箇所を、GPT-4でより異なる意味に変換してしまう事象が発生しました。そのため、GPT-4のみを採用しました。
カジュアルな内容から学術的な内容までを広く含むメディアであったこと、またネイティブチェックを行う体制をとることを踏まえてGPT-4を採用しました。今回は採用を見送りましたが、DeepLは専門用語の翻訳に定評があり、語調の切り替えなど便利な機能が存在します。翻訳の目的、チェック体制などを考慮して選定するのが良いと感じました。参考にした記事は以下です。
- 4大自動翻訳サービスの実力比較と活用ポイント DeepLの弱点が明らかに
- AI翻訳を比較してみました。Google, DeepL, OpenAI
- DeepL の翻訳精度は？ ビジネスメールでの Google、Microsoft との比較結果
翻訳精度を向上するための調整
GPT-4を採用した上で、翻訳精度を向上するために以下の調整をしました。
- プロンプトの調整
- ルールベースでの前後処理
- 人によるチェック
プロンプトの調整
最終的なプロンプトの抜粋を以下に示し、それぞれの意味を解説します。プロンプトの調整は、OpenAIのPlaygroundを利用しました。
記事IDには取り上げるテーマや人名の英語が入っていることがあり、それが翻訳の参考となるためプロンプトに含めました。
This article's id is ${id}.
書籍名は、日本語のみのものも多いため、日本語のまま表記するというルールがチーム内で決められました。プロンプトでは指示文のみの場合、意図した通りに動作しなかったため、以下のように具体例を含める必要がありました。
Translate the text into English, but all titles, including academic papers, reports, and literature should be left in Japanese. (ex. 『書籍のタイトル』（2023年、xx出版）-> "書籍のタイトル" (2023, xx Publishing))
メディアとしての文体で、読みやすくするための指示を追加します。こうすることで文体もある程度統一されます。
To enhance the web media tone of the text, replace any words.
ルールベースでの前後処理
その他の必要な処理は、ルールベースで行いました。具体的には、英語の敬称（Mr., Ms.など）や「〜さん」といった表現は翻訳に含めないことになったため、削除する処理を入れました。
人によるチェック
上記のような調整を行なっても、正しい翻訳結果が得られないこともあります。具体的には以下のような場合です。
- 珍しい、もしくは特殊な読み方をする漢字
- 直訳ではない、会社名や人名の英語表記
- 専門用語の訳
- 文脈内で特殊な使い方をされている用語
これらはここまでの工程では対応できないため、人によるチェックが必要です。そのためチェックする方と認識を揃えるために、チェックリストを作成しました。
この部分はまだ改善の余地はあり、GPT-4を用いるなどして最初に文章から固有名詞を抜き出し、固有名詞の辞書を用いる、もしくは検索を利用して予め翻訳しておくなどの方法が考えられます。辞書としては、ENAMDICT/JMnedictなどが挙げられます。
スムーズな翻訳を実現する仕組みの導入
ここまで説明した内容は翻訳の質を担保するものでした。それに加えて、スムーズな翻訳を実現する仕組みを導入しました。
- 日本語記事の公開をトリガーに翻訳
- ネイティブチェックの完了をトリガーにチェック内容を可視化、Slackに通知
冒頭でも紹介したように、記事の管理はmicroCMSを用いています。英語記事の公開に当たり、日本語とは別の環境（API）を作成しました。日本語記事をmicroCMSから取得し、翻訳結果を英語の環境に保存します。その後のチェックではmicroCMSを直接編集することになります。
日本語記事の公開をトリガーに翻訳
日本語記事が公開されると、microCMSのWebhookの機能を利用し、それをトリガーに翻訳が開始されます。翻訳結果はmicroCMSの英語の環境に保存されます。またネイティブチェックの差分を可視化する際に必要となるため、AWS S3にも保存されます。
ネイティブチェックの完了をトリガーにチェック内容を可視化、Slackに通知
その後ネイティブチェックが行われます。ネイティブチェックが完了したら、チェックを担当した人はmicroCMSのカスタムステータスを変更します。これをトリガーに、現状のmicroCMSのデータと、S3に保存されている当初の翻訳との差分を可視化するコードが実行されます。このコードの実装にはGoogleのDiff Match Patchを利用し、Googleドキュメントに結果を保存しました。
続いて、ネイティブチェックとその差分の可視化が完了したことをSlackに通知し、編集者による最終チェック、公開へと進みます。2段階のチェックとすることで、英語と情報、両方の正しさを担保しています。
まとめ
Fashion Tech Newsの翻訳に当たり、様々な機械翻訳サービスを比較しGPT-4を採用しました。採用理由として挙げられるのは、様々なジャンルの記事に対応できたこと、チェック体制との親和性が高かったことです。そして翻訳精度の向上を目指し、プロンプトの調整、ルールベースでの前後処理、人によるチェックを導入しました。さらに翻訳をスムーズに進めるため、microCMSの機能やチェックの差分を可視化する仕組みを活用しました。よりチェックの負担を減らすには、改善の余地はまだありますが、今回の手法により効率的で安定した翻訳体制を実現できました。
ZOZO NEXTでは、最先端を含む様々な技術を取り入れプロダクト開発に取り組んでいます。絶賛仲間を募集しておりますので、興味を持ってくださった方は以下をご確認ください。
カジュアル面談はこちらからご応募ください。
募集している職種はこちらからご確認ください。
