大きくする 標準 小さくする

【ブログ】翻訳テクノロジーあれこれ by 小室誠一

翻訳精度スコアBLEUを簡単に計算できるツール「シンプルMTスコア」

投稿日時:2020/02/13(木) 17:23

機械翻訳の記事を読んでいると、BLEU(BiLingual Evaluation Understudy)という言葉がよくでてきます。これは、機械翻訳の精度を自動的に評価するための指標のことです。
機械翻訳の出力結果と参照訳(通常は人手翻訳)を比較して類似度を計算し、0~1の値を出します。
通常はパーセントで表示します。数字が高いほど参照訳と一致しているということで品質が高いとみなされます。

BLEUスコアを計算するソフトウエアではコマンド操作が必要なので、開発者でなければ、実際に任意の文章を機械翻訳出力してスコアを調べた人は少ないかもしれません。

今回紹介するのは、西野竜太郎氏が作成した、GUI(グラフィカル・ユーザー・インターフェイス)から実行できるデスクトップ用ソフトウェアの「シンプルMTスコア(デスクトップ)」です。
以下のページからダウンロードできます。
https://www.nishinos.com/simple-mt-score

ダウンロードファイルはZIP圧縮されています。解凍してSimpleMTScore.exeをダブルクリックすればソフトウエアが起動します。インストールは不要です。

また、Web版も利用できます。
https://mtscore.nishinos.work/

使い方は簡単です。
「参照訳を入力:」に模範訳(通常は人手翻訳)を入力し、「評価訳を入力:」に機械翻訳の出力結果を入力して「実行」クリックするだけです。


*実行結果に100を掛けます。

BLEUスコアの解釈としては、以下が参考になります。
https://cloud.google.com/translate/automl/docs/evaluate?hl=ja#bleu



実際に試してみると分かるように、スコアの計算は、あくまでも出力結果と参照訳だけで行われます。「原文」は全く関与していません。そのためBLEU スコアが高くても、評価者が原文と突き合わせチェックをすると、大きな誤訳が発見されて全体的な評価が下がることがあります。

ちなみに、前回のブログ記事で紹介したNICTのプレスリリースでは、以下のように書かれていました。
 
NICTの自動翻訳エンジンにSMBC日興証券のアナリストレポートの日英対訳データを学習させ、金融分野に特化したAI自動翻訳システムを開発しました。従来の汎用AI翻訳と、金融に特化した本システムとの比較において、翻訳精度スコアBLEUで、従来の13.1から「高品質な翻訳」の域である42.8となり、3倍強の改善を達成することができました。

 

コメント

名前:
Eメールアドレス:
コメント:
ファイル

画像の英字5文字を入力して下さい。:
パスワード:

プロフィール

小室誠一
1990年から機械翻訳のユーザーとして活用法の研究を行う。
バベル翻訳大学院で、「翻訳者のためのテキスト処理」「翻訳支援ツール徹底活用」など、ITスキルに関する講座を担当。
 

編集部宛投稿メール

編集部宛の投稿は以下のフォームからお送りください。

みなさまの投稿をお待ちしております。

 

【編集部宛メールフォーム】

ブログ一覧

ブログ 7日間のアクセスランキング