機械翻訳の記事を読んでいると、BLEU（BiLingual Evaluation Understudy）という言葉がよくでてきます。これは、機械翻訳の精度を自動的に評価するための指標のことです。
機械翻訳の出力結果と参照訳（通常は人手翻訳）を比較して類似度を計算し、0～1の値を出します。
通常はパーセントで表示します。数字が高いほど参照訳と一致しているということで品質が高いとみなされます。

BLEUスコアを計算するソフトウエアではコマンド操作が必要なので、開発者でなければ、実際に任意の文章を機械翻訳出力してスコアを調べた人は少ないかもしれません。

今回紹介するのは、西野竜太郎氏が作成した、GUI（グラフィカル・ユーザー・インターフェイス）から実行できるデスクトップ用ソフトウェアの「シンプルMTスコア（デスクトップ）」です。
以下のページからダウンロードできます。
https://www.nishinos.com/simple-mt-score

ダウンロードファイルはZIP圧縮されています。解凍してSimpleMTScore.exeをダブルクリックすればソフトウエアが起動します。インストールは不要です。

また、Web版も利用できます。
https://mtscore.nishinos.work/

使い方は簡単です。
「参照訳を入力：」に模範訳（通常は人手翻訳）を入力し、「評価訳を入力：」に機械翻訳の出力結果を入力して「実行」クリックするだけです。


＊実行結果に100を掛けます。

BLEUスコアの解釈としては、以下が参考になります。
https://cloud.google.com/translate/automl/docs/evaluate?hl=ja#bleu



実際に試してみると分かるように、スコアの計算は、あくまでも出力結果と参照訳だけで行われます。「原文」は全く関与していません。そのためBLEU スコアが高くても、評価者が原文と突き合わせチェックをすると、大きな誤訳が発見されて全体的な評価が下がることがあります。

ちなみに、前回のブログ記事で紹介したNICTのプレスリリースでは、以下のように書かれていました。
 

NICTの自動翻訳エンジンにSMBC日興証券のアナリストレポートの日英対訳データを学習させ、金融分野に特化したAI自動翻訳システムを開発しました。従来の汎用AI翻訳と、金融に特化した本システムとの比較において、翻訳精度スコアBLEUで、従来の13.1から「高品質な翻訳」の域である42.8となり、3倍強の改善を達成することができました。