【ブログ】翻訳テクノロジーあれこれ by 小室誠一
翻訳精度スコアBLEUを簡単に計算できるツール「シンプルMTスコア」
投稿日時:2020/02/13(木) 17:23
機械翻訳の記事を読んでいると、BLEU(BiLingual Evaluation Understudy)という言葉がよくでてきます。これは、機械翻訳の精度を自動的に評価するための指標のことです。
機械翻訳の出力結果と参照訳(通常は人手翻訳)を比較して類似度を計算し、0~1の値を出します。
通常はパーセントで表示します。数字が高いほど参照訳と一致しているということで品質が高いとみなされます。
BLEUスコアを計算するソフトウエアではコマンド操作が必要なので、開発者でなければ、実際に任意の文章を機械翻訳出力してスコアを調べた人は少ないかもしれません。
今回紹介するのは、西野竜太郎氏が作成した、GUI(グラフィカル・ユーザー・インターフェイス)から実行できるデスクトップ用ソフトウェアの「シンプルMTスコア(デスクトップ)」です。
以下のページからダウンロードできます。
https://www.nishinos.com/simple-mt-score
ダウンロードファイルはZIP圧縮されています。解凍してSimpleMTScore.exeをダブルクリックすればソフトウエアが起動します。インストールは不要です。
また、Web版も利用できます。
https://mtscore.nishinos.work/
使い方は簡単です。
「参照訳を入力:」に模範訳(通常は人手翻訳)を入力し、「評価訳を入力:」に機械翻訳の出力結果を入力して「実行」クリックするだけです。

*実行結果に100を掛けます。
BLEUスコアの解釈としては、以下が参考になります。
https://cloud.google.com/translate/automl/docs/evaluate?hl=ja#bleu

実際に試してみると分かるように、スコアの計算は、あくまでも出力結果と参照訳だけで行われます。「原文」は全く関与していません。そのためBLEU スコアが高くても、評価者が原文と突き合わせチェックをすると、大きな誤訳が発見されて全体的な評価が下がることがあります。
ちなみに、前回のブログ記事で紹介したNICTのプレスリリースでは、以下のように書かれていました。
機械翻訳の出力結果と参照訳(通常は人手翻訳)を比較して類似度を計算し、0~1の値を出します。
通常はパーセントで表示します。数字が高いほど参照訳と一致しているということで品質が高いとみなされます。
BLEUスコアを計算するソフトウエアではコマンド操作が必要なので、開発者でなければ、実際に任意の文章を機械翻訳出力してスコアを調べた人は少ないかもしれません。
今回紹介するのは、西野竜太郎氏が作成した、GUI(グラフィカル・ユーザー・インターフェイス)から実行できるデスクトップ用ソフトウェアの「シンプルMTスコア(デスクトップ)」です。
以下のページからダウンロードできます。
https://www.nishinos.com/simple-mt-score
ダウンロードファイルはZIP圧縮されています。解凍してSimpleMTScore.exeをダブルクリックすればソフトウエアが起動します。インストールは不要です。
また、Web版も利用できます。
https://mtscore.nishinos.work/
使い方は簡単です。
「参照訳を入力:」に模範訳(通常は人手翻訳)を入力し、「評価訳を入力:」に機械翻訳の出力結果を入力して「実行」クリックするだけです。

*実行結果に100を掛けます。
BLEUスコアの解釈としては、以下が参考になります。
https://cloud.google.com/translate/automl/docs/evaluate?hl=ja#bleu

実際に試してみると分かるように、スコアの計算は、あくまでも出力結果と参照訳だけで行われます。「原文」は全く関与していません。そのためBLEU スコアが高くても、評価者が原文と突き合わせチェックをすると、大きな誤訳が発見されて全体的な評価が下がることがあります。
ちなみに、前回のブログ記事で紹介したNICTのプレスリリースでは、以下のように書かれていました。
NICTの自動翻訳エンジンにSMBC日興証券のアナリストレポートの日英対訳データを学習させ、金融分野に特化したAI自動翻訳システムを開発しました。従来の汎用AI翻訳と、金融に特化した本システムとの比較において、翻訳精度スコアBLEUで、従来の13.1から「高品質な翻訳」の域である42.8となり、3倍強の改善を達成することができました。 |
コメント
プロフィール
小室誠一
1990年から機械翻訳のユーザーとして活用法の研究を行う。
バベル翻訳大学院で、「翻訳者のためのテキスト処理」「翻訳支援ツール徹底活用」など、ITスキルに関する講座を担当。
1990年から機械翻訳のユーザーとして活用法の研究を行う。
バベル翻訳大学院で、「翻訳者のためのテキスト処理」「翻訳支援ツール徹底活用」など、ITスキルに関する講座を担当。
編集部宛投稿メール
最新記事
- DeepLの訳文が読みやすい理由 (2020/11/17)
- 機械翻訳支援ツール「GreenT」試用レポート(その2) (2020/05/29)
- 機械翻訳支援ツール「GreenT」試用レポート(その1) (2020/04/29)
- DeepL翻訳が日本語対応になった ― 翻訳英文法もびっくり (2020/03/27)
- 翻訳精度スコアBLEUを簡単に計算できるツール「シンプルMTスコア」 (2020/02/13)
- 機械翻訳の動向 (2020/02/03)
- 翻訳者の作業内容が変化している? (2017/10/12)
- みんなの自動翻訳をMemsourceで使ってみる(2) (2017/08/24)
- みんなの自動翻訳をMemsourceで使ってみる(1) (2017/08/03)
- Microsoftの「Try & Compare」ページ (2017/07/21)
- 音声翻訳アプリVoiceTraがニューラル機械翻訳で精度アップ (2017/07/13)
- Googleがニューラル機械翻訳の作り方を公開 (2017/07/13)
- 「MTフェア2017」参加レポート(3) (2017/07/06)
- 「MTフェア2017」参加レポート(2) (2017/07/06)
- 「MTフェア2017」参加レポート(1) (2017/07/06)
- ブログをはじめました (2017/06/29)
ブログ一覧
- 【ブログ】翻訳テクノロジーあれこれ by 小室誠一
- <新>翻訳に役立つソフトウェア活用法
翻訳ソフトや翻訳メモリソフトに限らず、翻訳業務の効率化に役立つソフトウェアを取り上げて、その活用法を紹介します。 - ■翻訳に役立つソフトウェア活用法
ブログ 7日間のアクセスランキング
- 1:翻訳精度スコアBLEUを簡単に計算できるツール「シンプルMTスコア」(53pv)
- 2:第3回 フリーの翻訳メモリソフト「OmegaT」(44pv)
- 3:第1回 簡単にTMXが作成できる「Align Assist」(40pv)
- 4:第4回 英文ライティングに役立つコンコーダンサー「AntConc」(32pv)
- 5:第9回 手軽に使える対訳ファイル作成ツール「AutoAlign」(26pv)
- 6:第13回 テキストファイル比較ソフト「WinMerge」(26pv)
- 7:第10回 便利なワードカウントソフト「Count Anything」(25pv)
- 8:みんなの自動翻訳をMemsourceで使ってみる(1)(24pv)
- 9:第8回 翻訳ユーティリティの定番「Okapi Rainbow」(17pv)
- 10:DeepL翻訳が日本語対応になった ― 翻訳英文法もびっくり(16pv)
- 11:みんなの自動翻訳をMemsourceで使ってみる(2)(16pv)
- 12:第1回 「EKWords - 高速キーワード抽出・集計」(16pv)
- 13:第11回 辞書ソフトの定番「Personal Dictionary」(13pv)
- 14:第10回 バイナリ文書対応のGrep検索が便利な「VxEditor」(13pv)
- 15:第2回 優れた用語管理ツール「xTerminology」(12pv)
- 16:第7回 校正・推敲支援ツール「Tomarigi」(12pv)
- 17:第2回 高機能な用語集検索ソフト「Xbench」(9pv)
- 18:DeepLの訳文が読みやすい理由(9pv)
- 19:翻訳者の作業内容が変化している?(8pv)
- 20:第5回 まだまだ使える「Wordfast Classic」(6pv)