语音技术：让机器听与说

导读：同一段录音，至少有三类问题

语音技术（speech technology）处理人的发声及其数字表示。按下转写键时，我们常把“听见了什么”“谁在说”“这句话什么意思”混成一件事；工程上它们必须拆开：自动语音识别（automatic speech recognition，ASR）估计说话内容，说话人辨认或验证估计身份，语义、意图与事实核验则属于自然语言处理和具体业务。声音还含语速、音高、房间与设备痕迹，但从这些线索推断情绪、年龄或健康状态都依赖任务定义、数据与不确定性，不能当作读心。

声音是介质振动造成的物理现象；语音是人用发声器官产生、通常承载语言或副语言信息的一类声音；语言是社群使用的符号与规则系统。一次咳嗽是声音和人声，却未必是语言；同一句话可由文字、手语或合成语音表达。机器因此并非先“听懂意思”再打字，而是从测得的波形逐层估计符号。

语音技术出现，是为了让电话、会议、字幕、屏幕阅读、车载控制和辅助沟通能跨过键盘。它可以转写、检索、朗读、唤醒设备或辅助身份核验；它不能仅凭流畅转写保证原话为真、说话者有权限、语气被准确理解，也不能让一条悦耳合成音天然安全。本章从空气振动走到识别与合成，重点保留每一次丢失信息和作出假设的位置。

15.1 从空气到数字：波形不是文字

麦克风把随时间变化的声压近似转换为电信号，再由模数转换器定时取样。设连续时间信号为$x(t)$，时间$t$的单位是秒（s）；采样率为$f_s$，单位是赫兹（Hz，即每秒样本数）；第$n$个样本为

这里$n$无单位，$N$是样本数。以原创小例为准：$x(t)=\sin(2\pi f_0t)$，$f_0=1000\ \mathrm{Hz}$，$f_s=8000\ \mathrm{Hz}$，只取$N=16$点。样本每$1/f_s=0.000125\ \mathrm{s}$、即0.125 ms取得一次，每个周期有$f_s/f_0=8$个样本，16点恰有2个周期。样本依次近似为0, 0.7071, 1, 0.7071, 0, -0.7071, -1, -0.7071，再重复一次。

若信号在采样前被限制在低于$f_s/2$的频率范围，采样定理给出无混叠重建的条件；$f_s/2=4000\ \mathrm{Hz}$称奈奎斯特频率。现实转换器通常应在采样前低通滤波，不应把“8 kHz采样率”误说成“能可靠保存8 kHz声音”。位深$b$表示每个样本用多少位编码，理想均匀量化通常有$2^b$个码值；它影响幅度分辨率和动态范围，却不会提高最高可表示频率。削波、量化噪声、麦克风频响与自动增益仍会改变记录。[1, speech-signal chapter]

对这16点使用未归一化离散傅里叶变换（DFT）：

$j^2=-1$；频点间隔$\Delta f=f_s/N=500\ \mathrm{Hz}$，频点$k=2$对应1000 Hz。实正弦的能量对称出现在$k=2$和$k=14$；在本式归一化下$|X[2]|=|X[14]|=8$，其余理论为0。逆变换带$1/N$；若换另一种归一化，幅值会变，频率位置不会变。网页下载数据保存实际binary64结果，不把约$10^{-15}$的浮点残差冒充新频率。

窄屏可横向滚动查看全图。

15.2 频谱、时频图与特征：看见“何时有哪些频率”

整段频谱会把先后次序压在一起。语音却不断变化：辅音短促，元音的共振峰随发音移动。因此系统把波形切成短而重叠的帧，对每帧加窗并求频谱，按时间排列成声谱图（spectrogram；“频谱图”是常见但易与spectrum混淆的译名）。横轴通常是时间，纵轴是频率，颜色或明暗表示幅度或功率。若以分贝显示功率谱，须声明参考量$P_{\mathrm{ref}}>0$及以10为底的对数：$10\log_{10}(P/P_{\mathrm{ref}})$；幅度比则常用$20\log_{10}(A/A_{\mathrm{ref}})$。没有参考量，“负40 dB”并不是一个完整的绝对声压说法。[1, speech-signal chapter]

分帧也可复算。设共有$L=16000$个样本，即16 kHz下恰好1 s；帧长$F=400$样本（25 ms），帧移$H=160$样本（10 ms）。切片采用左闭右开区间$[mH,mH+F)$，只保留完整帧、不在尾部补零，则

最后一帧从样本15520到15919，之后仍有80个样本不成完整帧。若约定尾部补零，帧数会不同；若短信号$L<F$，本规则给0帧。帧长、帧移、端点和时间戳定义都应随数据发布，而不是只写“25/10 ms”。

早期及混合式ASR常把谱进一步压缩为梅尔滤波器组能量、对数能量或梅尔频率倒谱系数（mel-frequency cepstral coefficients，MFCC）。典型MFCC流程是功率谱→梅尔尺度三角滤波器组→每组能量取对数→离散余弦变换；保留多少系数、是否含能量、如何归一化都不是唯一标准。现代端到端模型可直接读波形或滤波器组，但“少写了手工特征代码”不等于没有前端、采样约定或归一化。

15.3 先判断有没有人在说：VAD与唤醒词

语音活动检测（voice activity detection，VAD）给帧或片段判断“语音/非语音”，用来裁掉静音、分段、降低传输或识别成本。能量阈值简单，却会把音乐、敲击或远处电视混入，也会漏掉轻声；学习式VAD仍受训练场景限制。“非语音”是系统标签，不等于那里没有隐私信息，背景谈话也可能被意外收录。

关键词检测（keyword spotting，KWS）在连续音频中寻找少量词或短语；唤醒词检测是其中一种部署形态。常开设备会先在本地运行小模型，仅在分数超过阈值后启动更大管线。阈值低会增加误唤醒，阈值高会增加漏唤醒；报告准确率而不写每小时误触发、漏检率、设备与噪声条件，无法判断可用性。唤醒也不是授权：任何人或播放设备都可能念出相同词，敏感操作仍需独立确认。

15.4 ASR：从声学证据到符号序列

传统ASR常把问题拆成声学模型、发音词典、语言模型和搜索。[1, Ch. 16, traditional ASR] 在经典HMM系统中，隐藏状态表示随时间演进的发音状态，连续观测概率可由高斯混合建模，Viterbi等算法用于寻找高分状态路径。HMM负责状态次序与时序假设，GMM只建模给定状态下的声学观测分布，不是语言模型，也不负责“理解”文字。[2, §§III.A–III.C and V]

约2010年前后的深度学习转折，首先常是用DNN替代GMM估计HMM状态分数，形成DNN–HMM混合系统，而不是一夜之间删除HMM、词典和搜索。四个研究团队的共同总结记录了这一分工与改进。[3]

随后“端到端”方法尝试直接从声学序列学习输出符号及未知对齐，但它是训练接口的变化，不保证只剩一个模块：

• 连接时序分类（connectionist temporal classification，CTC）为标签表增加blank，对所有能折叠成目标文本的单调路径求和，不要求人工标出每个字符属于哪一帧。[4, §§1–4]
• 转导器（RNN-T/transducer）把声学时间和输出位置放在二维格点，并用prediction network显式依赖已输出标签。它适合增量解码，但能否流式仍取决于编码器是否使用未来输入；原始论文的转录网络并非因果，因此“RNN-T天生实时”不成立。[5, §§1–3]
• attention编码器—解码器在每个输出步对编码器位置作归一化加权，并依赖此前输出。LAS展示了字符级联合训练，同时其论文结果也说明早期系统并未因此自动胜过强混合基线。[6, §§1–4 and Table 1]

今天的编码器可用卷积、RNN、Transformer或Conformer；训练可联合CTC、transducer和attention目标，解码也可能融合外部语言模型。“端到端”不等于没有语言知识、搜索、文本规范化或工程前后处理。

窄屏可横向滚动查看全图。

15.5 CTC小例：blank不是空格，顺序不能颠倒

定义输出标签表$\mathcal A=\{A\}$，扩展表$\mathcal A'=\{\epsilon,A\}$；$\epsilon$是CTC blank，表示本时间步不发出标签，不是文本空格。共有$T=3$个时间步，逐步概率为：

每行在扩展表上归一化为1；给定输入后，本教学例的路径概率定义为$P(\boldsymbol\pi\mid\mathbf x)=\prod_{t=1}^{T}p_t(\pi_t)$。折叠函数$B$必须先合并相邻重复标签，再删除blank。所以AAA、AAε、εAA、Aεε、εεA、εAε都折叠为A；AεA折叠为AA，不能计入。枚举6条有效路径：

目标的CTC损失采用自然对数且本例不按长度归一化：

“nat”只是自然对数下的信息量单位。真实训练用前向—后向动态规划而非枚举指数多路径；本例同时用枚举和前向算法复算，二者理论值相同；binary64结果相差约$1.11\times10^{-16}$，在声明的$10^{-15}$绝对容差内一致。若目标有相邻重复标签，二者之间至少要有blank；长度为$U$的目标含$r$个相邻重复对时，至少需$U+r$个时间步，否则概率为0。[4, §§2–4]

15.6 WER：一个分数背后先有文本约定

词错误率（word error rate，WER）把假设转写变成参考转写所需的最少替换$S$、删除$D$和插入$I$相加，再除以参考词数$N_{\mathrm{ref}}>0$：

固定本例的词元、大小写与标点规范后，参考序列是[请, 把, 灯, 打开, 然后, 离开]、假设序列是[请, 请, 把, 灯, 打开, 离去]：假设多出一个“请”（插入），漏掉“然后”（删除），并把“离开”写成“离去”（替换）。动态规划得到的最小编辑距离为3；本例规定并列时按匹配/替换、删除、插入的顺序回溯，故$S=D=I=1$，于是

WER可以超过100%，因为插入数没有被参考长度封顶；空参考序列时本式未定义。中文常按字符报告CER，也可能先分词再算WER。去标点、数字展开、简繁转换和并列最短路径的回溯规则都会改变分项，所以跨论文比较前必须核对评分脚本与文本规范。NIST计划给出同一基本定义，但不替某个产品规定中文分词。[7, ASR scoring]

低WER也不等于理解：把“不要停药”识成“要停药”可能只错一词却后果重大；一段语法流畅、音频中不存在的插入句也可能被平均分数稀释。部署还应按姓名、数字、否定词和领域实体分项，并允许回放对应音频。

15.7 “谁在说”与“说了什么”是两条线

说话人辨认（speaker identification，也常译说话人识别）在一个已知候选集合中选择最可能的身份；speaker recognition则常作上位称呼，同时包含identification与verification；说话人验证（speaker verification）检验“这段语音是否与声称身份匹配”，通常比较注册语音与测试语音的表示并与阈值比。开放集系统还需拒绝候选外说话人。经典GMM-UBM系统已把验证表述为目标说话人模型与通用背景模型的似然比检验；现代嵌入和神经模型改变了表示，不改变阈值权衡。[8, §§1–4]

阈值降低通常减少误拒却增加误接受。等错误率（EER）只是某个误接受率等于误拒率的操作点，不一定对应业务成本，更不是“身份正确率”。口音、语言、设备、录音时长和群体覆盖会移动分数分布。重放、语音转换与克隆语音还要求独立的呈现攻击检测；普通验证基准好，不推出抗冒充。

情绪识别更需克制。标注者可能只对“听起来愤怒/平静”达成有限一致，文化、话题、表演和录音质量又会混入。系统输出至多是给定标签体系与数据下的推断，不是说话者内心状态、诚实程度或人格的测量。招聘、执法和医疗若把它当确定事实，会把弱证据升级为高后果决定。

15.8 TTS：先决定怎么读，再生成怎样的声音

文本转语音（text-to-speech，TTS）把文字转为可听语音。前端先做文本规范化（如日期、金额、缩写怎样念）、分词或音素化，并预测停顿、重音、音高和时长；声学模型生成谱或其他中间表示；声码器（vocoder）再从表示合成波形。TTS不是把字符逐个“播放”，也不是把ASR箭头简单反过来。

早期商用系统常用拼接合成：从大量已录单元中挑片段，平衡目标匹配与接缝成本。统计参数合成用HMM或神经网络预测参数，再由声码器发声，易控制且库较小，但常有过平滑。Tacotron类attention模型联合学习字符到梅尔谱的对齐；Tacotron 2再以条件WaveNet生成波形。[9, §§1–3] 原始WaveNet按先前采样点自回归预测下一个采样点，能生成细节丰富的音频，却计算昂贵，且其原始TTS实验仍依赖语言学、时长与基频条件，不能写成“文字直接一次生成波形”。[10, §§1–4]

神经声码器后来有并行、自回归和生成对抗等多条路线。它们改善自然度和速度，却仍可能把姓名、外语、长句、数字或停顿读错；attention对齐还可能漏词、重词或停不下来。多说话人TTS和声音克隆把“说什么”与“像谁”部分解耦，也使无授权仿声更容易。

听感常用平均意见分（mean opinion score，MOS），但它不是脱离协议的统一标尺。ITU-T P.800针对传输质量规定绝对类别评分等主观听测方法；具体TTS论文可能采用不同协议。[11, Annex B, especially §§B.3–B.4] Tacotron 2论文在内部单一美式英语女性说话人数据上固定抽取100条测试样本，每条由至少8名评分者按1—5分、0.5分步进评分，报告MOS为$4.526\pm0.066$；这里的“±”是用t分布计算的95%置信区间。另一次100项、800次评分的成对比较显著偏好自然录音。[9, §3.2, Table 1 and Fig. 2] 这个数属于那批样本、听者、设备、说明与统计方法，不能跨论文裸比，也不能证明手机上实时、长文稳定或对所有语言可用。自动谱距、ASR-WER和预测MOS适合回归检查，不能替代盲听、目标设备测延迟及真实用户测试。

15.9 现实案例：辅助沟通的价值与证据边界

Apple于2023年5月16日发布的无障碍功能预览介绍Personal Voice：用户朗读随机文本提示，在iPhone或iPad上录制15分钟音频，由端侧机器学习创建听起来像自己的声音，并可与Live Speech配合。该厂商页面引用Team Gleason非营利组织董事、ALS倡导者Philip Green；页面称他2018年确诊ALS后声音发生显著变化，他以自身沟通需要说明保留相似合成声音的价值。[12, Personal Voice section and Philip Green quotation] 这是功能说明和一位参与者经历的厂商一手材料，不是独立临床试验，也没有证明所有言语障碍用户都能顺利录制、所有语言同质可用或长期身份风险已经解决。

这个案例仍说明TTS为何重要：声音不仅传递字词，也关联社交身份与沟通节奏。可访问性验收应让目标用户在真实设备、噪声、网络和疲劳条件下完成任务，测首次设置、延迟、修正、备用沟通和隐私；不能拿论文MOS代替。若录制和模型可复现个人声线，还要得到清晰授权，控制导出、共享、删除与身后使用。

15.10 从基准到房间：误差会随环境和人群移动

离线基准固定数据、评分规范和版本，适合可重复比较；人工主观评价回答“听者怎样评分”；真实部署还包含麦克风、网络、流量、更新、延迟、申诉和错误后果。三层证据不能互换。

• 噪声与重叠。 CHiME-6语料包含20场在真实住宅中组织的四人晚宴录音，使用多套四通道远场麦克风阵列，并包含会话中的移动、混响和重叠；活动同时受到参与人数、时长和录制阶段等协议约束。它仍只代表特定英语会话、住宅、设备和任务设置，不能代表街道、医院或电话。[13, data and task]
• 口音与方言。 Koenecke等在2020年测试当时五个商业ASR，在研究匹配后的说话人样本中，黑人说话人的平均WER为0.35、白人说话人为0.19，并报告与非裔美国英语方言密度相关。[14, results and limitations] 这是特定美国英语访谈、样本与旧API版本的历史证据，不可外推为今天所有产品或群体“固有难识别”；它要求发布分群结果与更新后复测。
• 低资源语言。 NIST OpenASR21提供15种低资源语言，并设置不同训练条件；论文摘要指出，在严格受限训练条件下，各语言最佳WER约从斯瓦希里的32%到波斯语的68%。[15] 这些数只属于该挑战；“某语言有模型”不等于方言、自发对话和专业领域已获同等质量。
• 领域漂移。 朗读新闻到客服对话、成人到儿童、近讲到车载、通用词汇到药名，都会改变输入分布。上线前应建立目标部署集，上线后监测版本、最差群体、关键实体和无依据插入，而不是永远引用一次公开榜单。
• 延迟。 流式首字延迟、最终文本稳定时间、实时因子、端侧功耗与网络尾延迟回答不同问题。平均延迟会掩盖长尾；论文GPU上的“快于实时”不推出手机或助听设备可用。

15.11 隐私、冒充与合成语音滥用

录音不只是文字的容器。它可能暴露旁观者谈话、身份线索、位置环境和敏感话题；保存的说话人嵌入也可能被连接或二次推断。欧洲数据保护委员会的语音助手指南讨论意外唤醒、非注册用户或旁观者、保存期限、删除控制及声纹识别。指南将语音视为可构成生物特征个人数据的材料；当语音经相应技术处理并用于唯一识别自然人时，可能构成GDPR第9条所称特殊类别生物特征数据。[16, paras. 30–31, 95–103 and 127–132] 这是欧盟GDPR框架下的指导，不是全球统一法律，也不能推出所有录音自动适用完全相同的特殊类别处理规则。

最低限度的工程控制包括：能端侧就优先端侧；执行请求与训练改进分开授权；缩短原音保存；对日志、嵌入和导出做访问控制；为误唤醒与旁观者提供删除渠道；高后果操作不得只凭声线。声纹像密码却不能像密码那样轻易更换。

ASVspoof 2021设置三项任务：LA评估逻辑接入中的合成或转换语音及真实电信传输，PA评估真实物理环境中的重放，DF评估经过有损压缩、来自不同源数据库的deepfake。论文报告LA中的电信传输和DF中的压缩总体只造成有限退化，但PA暴露模拟训练数据与真实重放环境的失配，DF则明显暴露对未见源数据库泛化不足。[17, §§II–IV and VII] 因而“检测器说是真的”不等于音频真实。更稳妥的是多层防护：清楚标示合成、保存来源与授权记录、交易侧带外确认、检测和人工复核、事后追踪与申诉。

15.12 能做什么，不能从声音推出什么

语音技术能让会议可检索、视频有字幕、设备免手操作、文字可朗读、失语风险者预先保存沟通方式，也能在明确协议下辅助身份核验。它的输出都应带对象：哪段音频、哪个模型版本、哪种语言与场景、哪个阈值、何种不确定性。

它不能单凭一条波形证明：转写符合事实；说话人有权作决定；声线没有被重放或合成；情绪标签等于内心；流畅TTS内容正确；离线平均分会在每个用户和房间复现。ASR止于从声学证据估计符号序列；语义理解、事实查询和回答生成进入NLP与生成模型，仍要各自评价。反过来，语言模型能让转写更像句子，也可能把不清楚的声音补成流畅但错误的词。

本章小结

1. 波形是按时间测得的幅度，采样率限定时间分辨与无混叠频带，位深主要限定幅度量化；频谱和时频图是表示，不是文字。
2. VAD、唤醒、内容识别、说话人验证、情绪推断和语言理解是不同任务；把旁支当成同一“听懂”会掩盖阈值与误用。
3. HMM–GMM、DNN–HMM、CTC、转导器和attention是历史上重叠的路线。端到端减少显式对齐，不取消数据、语言约束、搜索和部署条件。
4. WER、CTC损失和MOS只有连同词元、归一化、样本、设备与版本才有意义；离线、人工听测和真实部署回答不同问题。
5. TTS可扩大可访问性，也降低仿声门槛。隐私最小化、明确授权、带外确认和持续攻防测试应与自然度一起设计。

相关词条

自动语音识别 · 文本转语音 · 声谱图 · MFCC · CTC · 说话人验证 · 语音活动检测 · 声码器 · 关键词检测 · 说话人辨认