核心概念

BLEU

以候选译文和参考译文的修正n-gram精确率及短译文惩罚形成的语料级机器翻译自动指标。

是什么

BLEU是语料级机器翻译自动指标:计算候选与参考译文的修正n-gram精确率,并用brevity penalty惩罚过短输出。[1, §§2–3]

报告边界

测试集、语言方向、参考数、大小写、分词、平滑与实现都会影响分数。Post据此要求清楚报告处理管线和可复现签名。[2, §§1–3] BLEU适合一致设置下的系统比较,却不能单独保证姓名、数字、否定、语体和事实正确,也不能跨测试集机械排名。

在本书中

见第14章:BLEU有用途,也有口径。本页为编辑初稿,独立事实复核待完成。

本页参考来源

  1. Papineni K, Roukos S, Ward T, Zhu W-J. BLEU — a Method for Automatic Evaluation of Machine Translation [C]. Proceedings of ACL 2002, 2002. 定位:pp. 311–318, especially §§2–3. DOI;稳定来源(访问 )。
  2. Post M. A Call for Clarity in Reporting BLEU Scores [C]. Proceedings of WMT 2018, 2018. 定位:pp. 186–191, especially §§1–3. DOI;稳定来源(访问 )。

相关概念