大きくする 標準 小さくする

【ブログ】翻訳テクノロジーあれこれ by 小室誠一

翻訳精度スコアBLEUを簡単に計算できるツール「シンプルMTスコア」

投稿日時:2020/02/13(木) 17:23

機械翻訳の記事を読んでいると、BLEU(BiLingual Evaluation Understudy)という言葉がよくでてきます。これは、機械翻訳の精度を自動的に評価するための指標のことです。
機械翻訳の出力結果と参照訳(通常は人手翻訳)を比較して類似度を計算し、0~1の値を出します。
通常はパーセントで表示します。数字が高いほど参照訳と一致しているということで品質が高いとみなされます。

BLEUスコアを計算するソフトウエアではコマンド操作が必要なので、開発者でなければ、実際に任意の文章を機械翻訳出力してスコアを調べた人は少ないかもしれません。

今回紹介するのは、西野竜太郎氏が作成した、GUI(グラフィカル・ユーザー・インターフェイス)から実行できるデスクトップ用ソフトウェアの「シンプルMTスコア(デスクトップ)」です。
以下のページからダウンロードできます。
https://www.nishinos.com/simple-mt-score

ダウンロードファイルはZIP圧縮されています。解凍してSimpleMTScore.exeをダブルクリックすればソフトウエアが起動します。インストールは不要です。

また、Web版も利用できます。
https://mtscore.nishinos.work/


BLEUスコアの解釈としては、以下が参考になります。
https://cloud.google.com/translate/automl/docs/evaluate?hl=ja#bleu



実際に試してみると分かるように、スコアの計算は、あくまでも出力結果と参照訳だけで行われます。「原文」は全く関与していません。そのためBLEU スコアが高くても、評価者が原文と突き合わせチェックをすると、大きな誤訳が発見されて全体的な評価が下がることがあります。

ちなみに、前回のブログ記事で紹介したNICTのプレスリリースでは、以下のように書かれていました。
 
NICTの自動翻訳エンジンにSMBC日興証券のアナリストレポートの日英対訳データを学習させ、金融分野に特化したAI自動翻訳システムを開発しました。従来の汎用AI翻訳と、金融に特化した本システムとの比較において、翻訳精度スコアBLEUで、従来の13.1から「高品質な翻訳」の域である42.8となり、3倍強の改善を達成することができました。


<実験>

アジア太平洋機械翻訳協会の機械翻訳課題調査委員会が開発したMTテストセットの冒頭から、25文ほど抜き出してGoogle翻訳で出力し、シンプルMTスコアでBLUEスコアを出してみました。

■原文
彼は多くの研究者を集めた。
彼は標本を集めている。
彼は論文を集めて本にした。
彼らは会議室に集まった。
学生が教室に集められた。
この装置はバッテリ駆動だ。
手順は左右同一である。
プッシュボタンは簡易操作に最適である。
委員会は彼らの訴えを却下。
部品を検査するため。
部品の検査のため。
部品Aは検査不要。
私達は研究開発する。
検査者は部品を修理、計器を点検する。
牛乳は栄養豊富である。
資料は当日配布すること。
渋滞が自然解消する。
住民が自然保護する。
ナットAを軸に組み付ける。
クーラントを点検し、必要ならば補給する。
彼は実験を続けてみる。
彼女が電流計を見ている。
雪が溶けていく。
私がこの装置の増幅度を上げていく。
彼は東京へ行く。

■参照訳
He gathered a lot of researchers.
He has been collecting samples.
He brought together some essays in a book.
They came together in the conference room.
The students were assembled in the class room.
This equipment is battery-operated.
The procedure is the same for the left and the right.
Push buttons are ideal for simple operation.
Their appeal was rejected by the committee.
To check the parts.
To check the parts.
It is unnecessary to check part A.
We do research and development.
The tester repairs the parts and checks the meter.
Milk is very nutritious.
Distribute materials on the day.
The traffic jam dissolved by itself.
The inhabitants conserve nature.
Assemble nut A on the shaft.
Check coolant and refill if necessary.
He trys to continue the experiment.
She is watching the ammeter.
The snow is melting.
I increase the amplification of this equipment.
He goes to Tokyo.

■Google翻訳
BLUE: 36.88
He gathered many researchers.
He is collecting specimens.
He collected papers and turned them into books.
They gathered in the meeting room.
Students were gathered in the classroom.
This device is battery powered.
The procedure is the same for the left and right.
Push buttons are ideal for simple operation.
The committee denied their complaint.
To inspect parts.
For inspection of parts.
Inspection is unnecessary for part A.
We research and develop.
The inspector repairs the parts and checks the meter.
Milk is rich in nutrients.
Materials should be distributed on the day.
Congestion resolves naturally.
Residents protect nature.
Attach nut A to the shaft.
Check the coolant and top up if necessary.
He continues the experiment.
She is looking at the ammeter.
The snow is melting.
I will increase the amplification of this device.
He goes to Tokyo.

みなさんも、色々なMTで試してみてはいかがでしょうか。
 

コメント

名前:
Eメールアドレス:
コメント:
ファイル

画像の英字5文字を入力して下さい。:
パスワード:

プロフィール

小室誠一
1990年から機械翻訳のユーザーとして活用法の研究を行う。
バベル翻訳大学院で、「翻訳者のためのテキスト処理」「翻訳支援ツール徹底活用」など、ITスキルに関する講座を担当。
 

編集部宛投稿メール

編集部宛の投稿は以下のフォームからお送りください。

みなさまの投稿をお待ちしております。

 

【編集部宛メールフォーム】

ブログ一覧

ブログ 7日間のアクセスランキング