核心概念
BLEU
以候选译文和参考译文的修正n-gram精确率及短译文惩罚形成的语料级机器翻译自动指标。
BLEU BLEU score BLEU分数 双语替补评测
是什么
BLEU是语料级机器翻译自动指标:计算候选与参考译文的修正n-gram精确率,并用brevity penalty惩罚过短输出。[1, §§2–3]
报告边界
测试集、语言方向、参考数、大小写、分词、平滑与实现都会影响分数。Post据此要求清楚报告处理管线和可复现签名。[2, §§1–3] BLEU适合一致设置下的系统比较,却不能单独保证姓名、数字、否定、语体和事实正确,也不能跨测试集机械排名。
在本书中
见第14章:BLEU有用途,也有口径。本页为编辑初稿,独立事实复核待完成。
本页参考来源
- Papineni K, Roukos S, Ward T, Zhu W-J. BLEU — a Method for Automatic Evaluation of Machine Translation [C]. Proceedings of ACL 2002, 2002. 定位:pp. 311–318, especially §§2–3. DOI;稳定来源(访问 )。
- Post M. A Call for Clarity in Reporting BLEU Scores [C]. Proceedings of WMT 2018, 2018. 定位:pp. 186–191, especially §§1–3. DOI;稳定来源(访问 )。